Przekazanie zaawansowanej wiedzy z zakresu uczenia głębokiego (ang. deep learning), architektur sieci neuronowych i ich zastosowań.
Rozwój praktycznych umiejętności projektowania, implementacji i optymalizacji systemów deep learning w rzeczywistych zastosowaniach.

Odniesienia do frameworka edukacyjnego mikrokompetencji SFIA:
- Machine Learning (MLNG) - poziom 3: implementacja i dostrajanie modeli uczenia maszynowego
- Data Science (DATS) - poziom 3: ocena i porównywanie modeli, interpretacja wyników
- Data Engineering (DENG) - poziom 2: przygotowanie i przetwarzanie danych dla modeli ML
- Programming/Software Development (PROG) - poziom 2: implementacja algorytmów i modeli

Podstawy głębokich sieci neuronowych. Sieci konwolucyjne. Rekurencyjne sieci neuronowe. Zaawansowane modele sieci. Techniki optymalizacji modeli głębokich. Dwukierunkowe rekurencyjne sieci neuronowe. Architektury generatywne. Kontrola procesu generacji. Generatywne modele głębokie. Zaawansowane techniki treningu. Zaawansowane techniki treningu. Architektury typu transformer. Wdrożenia produkcyjne modeli deep learning. Kompresja i kwantyzacja modeli.

Wykład:
1 Wprowadzenie do uczenia głębokiego.
2 Rekurencyjne sieci neuronowe. Modele z pamięcią długoterminową (LSTM) i jednostka rekurencyjna bramkowana (GRU).
3 Dwukierunkowe rekurencyjne sieci neuronowe (Bidirectional RNN).
4 Architektury transformer. Mechanizy samodzielnego zwracania uwagi (self-attention) i multi-head attention.
5 Deep learning w przetwarzaniu języka naturalnego: positional encoding, architektura encoder-decoder.
6 Generatywne modele głębokie (Generative Deep Learning, GAN, VAE).
7 Modele dyfuzji (diffusion models). Architektury generatywne. Kontrola procesu generacji.
8 Zaawansowane techniki treningu. Regularyzacja, normalizacja, inicjalizacja.
9 Techniki optymalizacji. Learning rate scheduling.
10 Interpretacja modeli głębokich. Techniki wizualizacji modeli.
11 Attribution methods. Metody ataków adwersarialnych (adversarial attacks) i sposoby zabezpieczania się.
12 Wdrożenia produkcyjne modeli deep learning. Kompresja modeli.
13 Kwantyzacja modeli.
14 Optymalizacja wdrożeń produkcyjnych.
15 Monitorowanie wdrożonych modeli.

Pracownia specjalistyczna:
1 Implementacja podstawowych architektur: sieci feed-forward; CNN; transfer learning.
2 Implementacja RNN/LSTM.
3 Transformery.
4 Transformery.
5 Zaawansowane architektury: architektury generatywne.
6 Optymalizacja modeli: techniki treningu; regularyzacja; fine-tuning.
7 Optymalizacja modeli: techniki treningu; regularyzacja; fine-tuning.
8 Wdrażanie modeli: kompresja; kwantyzacja; optymalizacja inferencji.
9 Wdrażanie modeli: kompresja; kwantyzacja; optymalizacja inferencji.
10 Projekt końcowy: implementacja zaawansowanego systemu deep learning; optymalizacja i wdrożenie.
11 Projekt końcowy: implementacja zaawansowanego systemu deep learning; optymalizacja i wdrożenie.
12 Projekt końcowy: implementacja zaawansowanego systemu deep learning; optymalizacja i wdrożenie.
13 Projekt końcowy: implementacja zaawansowanego systemu deep learning; optymalizacja i wdrożenie.
14 Projekt końcowy: implementacja zaawansowanego systemu deep learning; optymalizacja i wdrożenie.
15 Zaliczenie zajęć.

dyskusja rozwiązań,   metoda projektów,   programowanie z użyciem komputera,   wykład konwersatoryjny,   wykład problemowy,   wykład z prezentacją multimedialną,  

W: egzamin pisemny z pytaniami otwartymi
Ps: opracowanie zadań projektowych realizowanych w grupach

1 I. Goodfellow., Y. Bengio, A. Courville, Deep Learning, MIT Press, 2016
2 S.J. Prince, Understanding Deep Learning, Cambridge University Press, 2023
3 F. Chollet, Deep Learning with Python, Manning, 2017
4 J. M. Tomczak, Deep Generative Models, Springer, 2022
5 C. Molnar, Interpretable Machine Learning, Independently Published, 2020

1 A. Géron, Hands-On Machine Learning with Scikit-Learn, Keras, and TensorFlow, O'Reilly Media, 2019