KMI/UMIN — Umělá inteligence

Slajdy k přednáškám

• L01Umělá inteligence, historie AI, perceptron
  slajdy (zip)
• L02FFNN, backpropagation
  slajdy (zip)
• L03FFNN, optimalizace
  slajdy (zip)
• L04RNN, LSTM, GRU, attention, transformer
  slajdy (zip)
• L05CNN
  slajdy (zip)
• L06AE, VAE, GAN, difuzní modely
  slajdy (zip) ukázkové kódy (zip)
• L07Neuronové sítě a fuzzy regulátory
  slajdy (zip)
• L08Genetické algoritmy
  slajdy (zip)

Studijní text

• K00kapitola (zip)
• K01kapitola (zip)
• K02kapitola (zip)
• K03kapitola (zip)
• K04kapitola (zip)
• K05kapitola (zip)

Bude průběžně doplňováno a aktualizováno.

Zápočet

Pro získání zápočtu je nutné splnit následující body:

1. Nastudovat vybraný článek (dle již provedeného výběru).
2. Připravit a představit jeho obsah formou přibližně 10minutové prezentace před třídou, s využitím předem připravených slidů.
3. Po prezentaci zodpovědět případné dotazy.
4. Odevzdat písemný extrakt článku v rozsahu přibližně 4 stran sázeného textu.

Témata ke zkoušce

1. Perceptron, funkce, geometrická interpretace, učení, separabilní problémy, problém XOR.
2. FFNN: architektura, vrstvy, aktivační funkce, věta o aproximaci, přehledově trénink, kódování vstupů a výstupů.
3. Backpropagation v obecné architektuře a ve vrstvených sítích.
4. Optimalizace gradientního sestupu: momentum, NAG, adaptivní LR, Silva & Almeida, DBD, Rprop, Adagrad, RMSProp, Adam. (ne všechno najednou — vyberu zpravidla dvě z nich)
5. Zpracování sekvencí: RNN, backpropagation through time, LSTM, GRU.
6. Attention mechanismy.
7. Transformer: architektura, poziční kódování, residuální spojení.
8. Konvoluční sítě, konvoluční vrstvy a jejich hyperparametry, saliency maps.
9. Generativní neuronové sítě: AE, VAE, GAN, difuzní modely.
10. Fuzzy regulátory, báze pravidel, inference, Takagi-Sugeno model, Mamdaniho model.
11. Asociativní sítě, Hopfieldova síť, SONN, Kohonenovy mapy, RBF sítě.
12. Genetické algoritmy.

Témata referátů

1. 12.

1. [Smajzr Michal] LoRA: Low-Rank Adaptation of Large Language Models
2. Switch Transformers: Scaling to Trillion Parameter Models with Simple and Efficient Sparsity
3. [Litschmann Jakub] Interpretability Beyond Feature Attribution: Quantitative Testing with Concept Activation Vectors (TCAV)
4. [Trhlíková Natalie] Adversarial Examples Are Not Bugs, They Are Features
5. [Juránková Anita] Language Models are Multilingual Chain-of-Thought Reasoners
6. [Votočka David] The Ethics of Artificial Intelligence
7. BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding
8. [Loučka Richard Bohuslav] Logical Neural Networks
9. [Škrabalová Eliška] Neural Logic Networks
10. [Hrdina Filip] Learning Algorithms via Neural Logic Networks
11. A Survey of the State of Explainable AI for Natural Language Processing
12. [Kudělka Tomáš] Differentiable Logics for Neural Network Training and Verification
13. [Lakomý Jan] The De-democratization of AI: Deep Learning and the Compute Divide in Artificial Intelligence Research
14. Abduction and Argumentation for Explainable Machine Learning: A Position Survey
15. [Kvapil Jiří] Neural Logic Analogy Learning

8. 12.

16. [Rástocká Alžbeta] Neural Symbolic Logical Rule Learner for Interpretable Learning
17. [Pryč Jan] Logic Gate Neural Networks are Good for Verification
18. Categorical Construction of Logically Verifiable Neural Architectures
19. [Pastorek Mojmír] Standard Neural Computation Alone Is Insufficient for Logical Intelligence
20. [Podmanický Martin] AI-Driven Automation Can Become the Foundation of Next-Era Science of Science Research
21. [Vincour Radek] AI Agents: Evolution, Architecture, and Real-World Applications
22. Towards Self-Regulating AI: Challenges and Opportunities of AI Model Governance in Financial Services
23. [Romančíková Paulína] Generative Pretraining from Pixels
24. Language Models are Few-Shot Learners
25. [Kárný Tomáš] An Image is Worth 16x16 Words: Transformers for Image Recognition at Scale
26. [Široký Michael] Swin Transformer: Hierarchical Vision Transformer using Shifted Windows
27. [Davies Tomáš] Zero-Shot Text-to-Image Generation
28. Learning Transferable Visual Models From Natural Language Supervision
29. [Berger Thomas] High-Resolution Image Synthesis with Latent Diffusion Models

15. 12.

30. BLOOM: A 176B-Parameter Open-Access Multilingual Language Model
31. [Kalenda Martin] Reinforcement Learning from Human Feedback
32. [Kladivová Vendula] Model-Agnostic Meta-Learning for Fast Adaptation of Deep Networks
33. [Kašparová Sofie] The Lottery Ticket Hypothesis: Finding Sparse, Trainable Neural Networks
34. Neural Tangent Kernel: Convergence and Generalization in Neural Networks
35. [Kercl Aleš] Mastering Atari, Go, Chess and Shogi by Planning with a Learned Model
36. [Kubatka Patrik] Deep Double Descent: Where Bigger Models and More Data Hurt
37. [Smékal Samuel] Graph Neural Networks: A Review of Methods and Applications
38. [Malíček Filip] Prototypical Networks for Few-shot Learning
39. [Čapka Tomáš] Reinforcement Learning with Unsupervised Auxiliary Tasks
40. [Duongová My Linh] FlashAttention: Fast and Memory-Efficient Exact Attention with IO-Awareness
41. [Netrh Vojtěch] Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks
42. [Machala Jan] Neural-network quantum state tomography