KMI/UMIN — Umělá inteligence

Přednáška
pondělí 13:15–14:45, LP-1034
Cvičení
pondělí 15:00–15:45, LP-1034
Výuka probíhá
21. 9. – 14. 12. 2026
Materiály ke cvičením
github.com/konyconi/UMIN_AI_exercises

Sylabus

  1. Úvod do hlubokého učení — AI / strojové učení / DL, učení reprezentací, milníky oboru; úloha, data a kontrola dat; perceptron a lineární model, lineární separabilita, baseline.
  2. Dopředné neuronové sítě — vrstvená architektura, výpočetní graf, univerzální aproximace, backpropagation, numerická kontrola gradientu.
  3. Úlohy a reprezentace dat — klasifikace a regrese, aktivační funkce, kódování vstupů, výstupní vrstvy, ztrátové funkce a metriky.
  4. Optimalizace učení — stochastický gradientní sestup, dávkování, momentum, AdaGrad / RMSProp / Adam / AdamW, plány učicího kroku.
  5. Generalizace a regularizace — protokol vyhodnocení, kapacita, bias a variance, weight decay, dropout, augmentace dat, early stopping.
  6. Praktické trénování hlubokých sítí — inicializace vah, normalizační vrstvy, numerická stabilita a mixed precision, monitorování, reprodukovatelnost.
  7. Konvoluční neuronové sítě — konvoluce, pooling, sdílení parametrů, LeNet-5, AlexNet, cesta k hlubším sítím (VGG, ResNet), vizualizace filtrů.
  8. Předtrénované obrazové modely — zdrojová a cílová úloha, přenos učení a fine-tuning, PEFT a LoRA, Vision Transformer a patch tokeny.
  9. Sekvenční a rekurentní sítě — rekurentní přechod, BPTT, LSTM a GRU, obousměrné zpracování, encoder–decoder, attention; vektorové reprezentace slov (Word2Vec, negative sampling, GloVe).
  10. Transformer — tokenizace, embeddingy, poziční kódování, self-attention, multi-head attention, blok enkodéru a dekodéru, výpočetní složitost.
  11. Jazykové modely a LLM — předtrénovací cíl, prompting a učení v kontextu, supervised fine-tuning, Retrieval-Augmented Generation, evaluace.
  12. Robustnost, nejistota a změna distribuce — adversariální příklady a adversariální trénování, přirozené poruchy, kalibrace pravděpodobností, selektivní predikce (risk–coverage), monitoring po nasazení.

Studijní text

Další kapitoly budou doplňovány v průběhu semestru.

Výukové materiály

Další materiály budou doplňovány v průběhu semestru.

Zápočet

Zápočet je za referát o jednom odborném článku. Pro jeho získání je nutné:

  1. Nastudovat vybraný článek (dle provedeného výběru, viz níže).
  2. Připravit a představit jeho obsah formou přibližně 10minutové prezentace před třídou, s využitím předem připravených slidů.
  3. Po prezentaci zodpovědět dotazy (přibližně 3 minuty).
  4. Odevzdat písemný extrakt článku v rozsahu přibližně 4 stran sázeného textu, do jednoho týdne po prezentaci.

Co se myslí „přibližně 4 strany“: A4, 11 pt, jednoduché řádkování, tedy 7 000 až 9 000 znaků včetně mezer, nepočítaje titulní stranu, obrázky a seznam literatury.

Extrakt není překlad ani abstrakt. Má obsahovat úlohu a motivaci, jádro metody včetně klíčové rovnice nebo schématu, způsob ověření (na jakých datech, proti čemu se to měřilo, jaké číslo vyšlo) a kritické zhodnocení — co článek netvrdí, jaká jsou omezení, co by se dalo namítnout.

Témata referátů

Jak si téma zamluvit: přihlašovací formulář. Nikam se nemusíte přihlašovat. Vyplňte své osobní číslo ze STAGu — podle něj se přihláška spáruje se seznamem zapsaných — a školní e-mail, na kterém jste zastižitelní.

Ve formuláři vyberete tři témata: preferované a dvě náhradní. Platí, kdo dřív přijde — rozhoduje čas odeslání formuláře. Je-li vaše preferované téma už zabrané, dostanete automaticky první z náhradních, které volné je. Proto se vyplatí vybrat náhradní témata tak, aby vám opravdu nevadila.

Formulář neukazuje, co je zabrané — aktuální stav je v seznamu níže, u zabraných témat je jméno. Kdo by zůstal bez tématu (všechny tři volby obsazené), dostane e-mail.

Datum u skupiny je nejdřívější termín, kdy lze téma prezentovat — do té doby se odučí přednáška, na kterou článek navazuje. Prezentovat později je možné. Značka ● znamená, že se o článku přednáška zmiňuje, takže referát má jít dál než slajd; ○ je téma, které se v přednáškách neobjeví vůbec.

Stav rezervací k 12. 10. 2026 — zapsaná jména se doplňují po dávkách, takže čerstvě odeslaná přihláška tu ještě být nemusí.

od 19. 10.

  1. [Staržec Richard] 19. 10. Random Search for Hyper-Parameter Optimization — Bergstra, Bengio (2012) ●
  2. Sharp Minima Can Generalize for Deep Nets — Dinh a kol. (2017) ●
  3. Learning to Predict by the Methods of Temporal Differences — Sutton (1988) ○
  4. [Matoušek Ondřej] 19. 10. Reducing the Dimensionality of Data with Neural Networks — Hinton, Salakhutdinov (2006) ○

od 26. 10.

  1. [Králík Matyáš] 26. 10. Reconciling Modern Machine-Learning Practice and the Classical Bias--Variance Trade-Off — Belkin a kol. (2019) ●
  2. [Dutá Leontýna] 26. 10. Training with Noise is Equivalent to Tikhonov Regularization — Bishop (1995) ●
  3. [Žídková Karolína] 26. 10. When Does Label Smoothing Help? — Müller, Kornblith, Hinton (2019) ○
  4. [Šároši Adam] 26. 10. Accurate, Large Minibatch SGD: Training ImageNet in 1 Hour — Goyal a kol. (2017) ●

od 2. 11.

  1. [Pytlík Vojtěch] 2. 11. Delving Deep into Rectifiers: Surpassing Human-Level Performance on ImageNet Classification — He a kol. (2015) ○
  2. [Jakeš Radim] 2. 11. Training Deep Nets with Sublinear Memory Cost — Chen a kol. (2016) ●
  3. [Motyčka Vendelín] 2. 11. Distilling the Knowledge in a Neural Network — Hinton, Vinyals, Dean (2015) ●

od 9. 11.

  1. [Šebková Adéla] 23. 11. Squeeze-and-Excitation Networks — Hu, Shen, Sun (2018) ●
  2. [Koflák Jaromír] 23. 11. Identity Mappings in Deep Residual Networks — He a kol. (2016) ●
  3. [Drábek Šimon] 9. 11. Xception: Deep Learning with Depthwise Separable Convolutions — Chollet (2017) ●
  4. [Soliar David] 9. 11. Fully Convolutional Networks for Semantic Segmentation — Long a kol. (2015) ○
  5. [Pertlová Markéta] 16. 11. V-Net: Fully Convolutional Neural Networks for Volumetric Medical Image Segmentation — Milletari a kol. (2016) ○
  6. [Piachenina Anna] 23. 11. Focal Loss for Dense Object Detection — Lin a kol. (2017) ●
  7. [Večeřa Dalibor] 16. 11. Generalized Intersection over Union: A Metric and a Loss for Bounding Box Regression — Rezatofighi a kol. (2019) ○
  8. Deformable DETR: Deformable Transformers for End-to-End Object Detection — Zhu a kol. (2021) ○
  9. [Chlevišťan Matěj] 16. 11. Panoptic Segmentation — Kirillov a kol. (2019) ●
  10. [Kaloč Filip] 16. 11. Conditional Generative Adversarial Nets — Mirza, Osindero (2014) ○
  11. Wasserstein GAN — Arjovsky a kol. (2017) ○
  12. [Látalová Tereza] 9. 11. A Style-Based Generator Architecture for Generative Adversarial Networks ○
  13. [Duongová My Linh] 23. 11. GANs Trained by a Two Time-Scale Update Rule Converge to a Local Nash Equilibrium ○
  14. Assessing Generative Models via Precision and Recall — Sajjadi a kol. (2018) ○
  15. Deep Unsupervised Learning using Nonequilibrium Thermodynamics — Sohl-Dickstein a kol. (2015) ○
  16. Denoising Diffusion Implicit Models ○
  17. Elucidating the Design Space of Diffusion-Based Generative Models — Karras a kol. (2022) ○
  18. DPM-Solver: A Fast ODE Solver for Diffusion Probabilistic Model Sampling in Around 10 Steps — Lu a kol. (2022) ○
  19. Flow Matching for Generative Modeling — Lipman a kol. (2023) ○
  20. [Válek Petr] 9. 11. Classifier-Free Diffusion Guidance — Ho, Salimans (2022) ●
  21. [Prinz Patrik] 30. 11. Deep Reinforcement Learning with Double Q-Learning — van Hasselt a kol. (2016) ●
  22. Offline Reinforcement Learning with Implicit Q-Learning — Kostrikov a kol. (2022) ○
  23. Conservative Q-Learning for Offline Reinforcement Learning — Kumar a kol. (2020) ○
  24. Mastering Diverse Control Tasks through World Models ○
  25. TD-MPC2: Scalable, Robust World Models for Continuous Control — Hansen a kol. (2024) ○

od 16. 11.

  1. [Štefková Julie] 30. 11. QLoRA: Efficient Finetuning of Quantized LLMs — Dettmers a kol. (2023) ○
  2. Visual Prompt Tuning — Jia a kol. (2022) ●
  3. [Weissensteiner Filip] 30. 11. Quantifying Attention Flow in Transformers — Abnar, Zuidema (2020) ●
  4. [Černý Matěj] 7. 12. Emerging Properties in Self-Supervised Vision Transformers ●
  5. [Sobotka Jan] 30. 11. Momentum Contrast for Unsupervised Visual Representation Learning ○
  6. DINOv2: Learning Robust Visual Features without Supervision — Oquab a kol. (2024) ○
  7. VICReg: Variance-Invariance-Covariance Regularization for Self-Supervised Learning — Bardes, Ponce, LeCun (2022) ●

od 23. 11.

  1. [Stratilová Kateřina] 7. 12. Neural Machine Translation of Rare Words with Subword Units ○
  2. Linguistic Regularities in Sparse and Explicit Word Representations — Levy, Goldberg (2014) ●
  3. [Trynda Artem] 7. 12. A Neural Probabilistic Language Model — Bengio a kol. (2003) ●

od 30. 11.

  1. [Novák Ondřej] 7. 12. FlashAttention: Fast and Memory-Efficient Exact Attention with IO-Awareness — Dao a kol. (2022) ●
  2. FlashAttention-3: Fast and Accurate Attention with Asynchrony and Low-Precision — Shah a kol. (2024) ○
  3. Longformer: The Long-Document Transformer — Beltagy a kol. (2020) ●
  4. Switch Transformers: Scaling to Trillion Parameter Models with Simple and Efficient Sparsity — Fedus a kol. (2021) ○
  5. [Peňáz Adam] 14. 12. Mixtral of Experts — Jiang a kol. (2024) ○

od 7. 12.

  1. [Zlatohlávková Marie] 14. 12. Language Models are Few-Shot Learners ○
  2. Scaling Laws for Neural Language Models — Kaplan a kol. (2020) ●
  3. [Hromek Jakub] 14. 12. Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks — Lewis a kol. (2020) ○
  4. Direct Preference Optimization: Your Language Model is Secretly a Reward Model — Rafailov a kol. (2023) ○
  5. ReAct: Synergizing Reasoning and Acting in Language Models — Yao a kol. (2023) ○
  6. AWQ: Activation-Aware Weight Quantization for On-Device LLM Compression and Acceleration — Lin a kol. (2024) ○
  7. Accelerating Large Language Model Decoding with Speculative Sampling — Chen a kol. (2023) ○
  8. Visual Instruction Tuning ○

od 14. 12.

  1. Towards Deep Learning Models Resistant to Adversarial Attacks — Madry a kol. (2018) ○
  2. [Miroshnyk Mariia] 14. 12. Benchmarking Neural Network Robustness to Common Corruptions and Perturbations — Hendrycks, Dietterich (2019) ○
  3. A Baseline for Detecting Misclassified and Out-of-Distribution Examples in Neural Networks — Hendrycks, Gimpel (2017) ○
  4. OpenOOD v1.5: Enhanced Benchmark for Out-of-Distribution Detection — Zhang a kol. (2024) ○
  5. [Balcar Matyáš] 14. 12. Can You Trust Your Model's Uncertainty? Evaluating Predictive Uncertainty Under Dataset Shift — Ovadia a kol. (2019) ○
  6. Adversarial Patch — Brown a kol. (2017) ●

Rozvrh prezentací

Rozvrh se dopočítává při každé dávce přihlášek, takže se u některých lidí ještě může posunout. Datum ve seznamu témat výše je totéž jako zde.

datumprezentují
19. 10.Matoušek Ondřej (4), Staržec Richard (1)
26. 10.Králík Matyáš (5), Žídková Karolína (7), Dutá Leontýna (6), Šároši Adam (8)
2. 11.Motyčka Vendelín (11), Pytlík Vojtěch (9), Jakeš Radim (10)
9. 11.Soliar David (15), Drábek Šimon (14), Válek Petr (31), Látalová Tereza (23)
16. 11.Pertlová Markéta (16), Chlevišťan Matěj (20), Kaloč Filip (21), Večeřa Dalibor (18)
23. 11.Koflák Jaromír (13), Piachenina Anna (17), Šebková Adéla (12), Duongová My Linh (24)
30. 11.Prinz Patrik (32), Štefková Julie (37), Weissensteiner Filip (39), Sobotka Jan (41)
7. 12.Černý Matěj (40), Stratilová Kateřina (44), Trynda Artem (46), Novák Ondřej (47)
14. 12.Peňáz Adam (51), Zlatohlávková Marie (52), Hromek Jakub (54), Miroshnyk Mariia (61), Balcar Matyáš (64)

V termínu 14. 12. je prezentací pět: tato témata se dřív prezentovat nedají, protože se do té doby neodučí, a volné místo už v nich nebylo. Přednáška i přestávka budou ten den o něco kratší.