KMI/UMIN — Umělá inteligence

Sylabus

1. Úvod do hlubokého učení — AI / strojové učení / DL, učení reprezentací, milníky oboru; úloha, data a kontrola dat; perceptron a lineární model, lineární separabilita, baseline.
2. Dopředné neuronové sítě — vrstvená architektura, výpočetní graf, univerzální aproximace, backpropagation, numerická kontrola gradientu.
3. Úlohy a reprezentace dat — klasifikace a regrese, aktivační funkce, kódování vstupů, výstupní vrstvy, ztrátové funkce a metriky.
4. Optimalizace učení — stochastický gradientní sestup, dávkování, momentum, AdaGrad / RMSProp / Adam / AdamW, plány učicího kroku.
5. Generalizace a regularizace — protokol vyhodnocení, kapacita, bias a variance, weight decay, dropout, augmentace dat, early stopping.
6. Praktické trénování hlubokých sítí — inicializace vah, normalizační vrstvy, numerická stabilita a mixed precision, monitorování, reprodukovatelnost.
7. Konvoluční neuronové sítě — konvoluce, pooling, sdílení parametrů, LeNet-5, AlexNet, cesta k hlubším sítím (VGG, ResNet), vizualizace filtrů.
8. Předtrénované obrazové modely — zdrojová a cílová úloha, přenos učení a fine-tuning, PEFT a LoRA, Vision Transformer a patch tokeny.
9. Sekvenční a rekurentní sítě — rekurentní přechod, BPTT, LSTM a GRU, obousměrné zpracování, encoder–decoder, attention; vektorové reprezentace slov (Word2Vec, negative sampling, GloVe).
10. Transformer — tokenizace, embeddingy, poziční kódování, self-attention, multi-head attention, blok enkodéru a dekodéru, výpočetní složitost.
11. Jazykové modely a LLM — předtrénovací cíl, prompting a učení v kontextu, supervised fine-tuning, Retrieval-Augmented Generation, evaluace.
12. Robustnost, nejistota a změna distribuce — adversariální příklady a adversariální trénování, přirozené poruchy, kalibrace pravděpodobností, selektivní predikce (risk–coverage), monitoring po nasazení.

Výukové materiály

Budou doplňovány v průběhu semestru.