Przekazanie fundamentalnej wiedzy o metodach i narzędziach używanych do przetwarzania języka naturalnego. Rozwój praktycznych umiejętności w zakresie wykorzystywanych podstawowych i zaawansowanych technik.

Odniesienia do frameworka edukacyjnego mikrokompetencji SFIA:
Data Science (DATS) - poziom 3: stosowanie technik i metod analitycznych do przetwarzania danych tekstowych
Artificial Intelligence (AI) and Data Ethics (AIDE) - poziom 3: identyfikacja i ocena zagadnień etycznych związanych z technologiami NLP i modelami językowymi
Machine Learning (MLNG) - poziom 3: implementacja i stosowanie modeli uczenia maszynowego do zadań językowych
Programming/Software Development (PROG) - poziom 3: tworzenie aplikacji wykorzystujących algorytmy NLP i biblioteki do przetwarzania tekstu
Data Analytics (DAAN) - poziom 3: analiza i interpretacja danych tekstowych oraz wyników modeli NLP

Wprowadzenie do przetwarzania języka naturalnego (NLP), historia rozwoju i podstawowe pojęcia. Podstawowe techniki przetwarzania tekstu, tokenizacja, normalizacja i analiza gramatyczna. Praktyczne wykorzystanie narzędzi NLP w zadaniach takich jak analiza sentymentu i klasyfikacja tekstu. Praca z word embeddings i modelami językowymi, prompt engineering. Realizacja projektów zespołowych z zakresu NLP, od koncepcji do prezentacji wyników.

Wykład:
1.Wprowadzenie do przetwarzania języka naturalnego - podstawowe pojęcia, historia i zastosowania, wyzwania
2. Podstawowe techniki przetwarzania tekstu - wyrażenia regularne, odległość edycyjna
3. Tokenizacja i normalizacja tekstu - tokenizacja: na poziomie zdań, słów, oparta na modelach językowych (np. BPE, WordPiece), normalizacja tekstu: usuwanie stop words, stemming, lematyzacja
4. Analiza gramatyczna - części mowy i zdania
5. Reprezentacja tekstu - wektory słów, one-hot encoding, bag of words, TF-IDF
6. Word embeddings - Algorytmy Word2Vec, GloVe i FastText , biblioteka gensim
7. Klasyfikacja tekstu - metody klasyfikacji i praktyczne zastosowania jak spam detection czy analiza sentymentu, ewaluacja modeli
8. Wydobywanie informacji - relacje w tekście, NER named entity recognition
9. Reprezentacja wiedzy lingwistycznej - słowniki i tezaurusy
10. Przetwarzanie języka naturalnego z użyciem sieci neuronowych - podstawowe architektury: RNN, LSTM, GRU
11. Transformers i modele oparte na uwadze (Attention), wprowadzenie do architektury LLM
12. LLM w zastosowaniach. Chatboty, Asystenci AI, generowanie kodu. Integracja LLM z systemami zewnętrznymi, RAG - Retrieval Augmented Generation
13. LLM - fine-tuning i prompt engineering, metryki BLEU, ROUGE, perplexity
14. Etyka i bezpieczeństwo LLM - wykrywanie uprzedzeń i toksyczności, prywatność, ograniczenia modeli
15. Etyka i bezpieczeństwo LLM - wykrywanie uprzedzeń i toksyczności, prywatność, ograniczenia modeli

Pracownia specjalistyczna:
1 Zapoznanie się z bibliotekami do przetwarzania języka naturalnego
2 Realizacja zadania z wyrażeniami regularnymi i odległością edycyjną
3 Analiza gramatyczna - ćwiczenia
4 Word embeddings - ćwiczenia
5 Word embeddings - kontynuacja ćwiczenia
6 Klasyfikator dokumentu - budowa i ewaluacja, wstępne przetwarzanie tekstu
7 Klasyfikator dokumentu - kontynuacja zadania
8 Prompt engineering
9 Ewaluacja modeli LLM
10 Zadania projektowe w grupach - omówienie i wybór tematów
11 Zadania projektowe w grupach - prezentacja pomysłu na realizację zadania
12 Realizacja zadania projektowego
13 Realizacja zadania projektowego
14 Prezentacja projektu
15 Zaliczenie pracowni

wykład z prezentacją multimedialną,   wykład konwersatoryjny,   wykład problemowy,   programowanie z użyciem komputera,  

Wykład: egzamin pisemny z pytaniami testowymi i otwartymi
Pracownia specjalistyczna: opracowanie zadań projektowych realizowanych w grupach

1. J. S. Coleman, Introducing speech and language processing. Cambridge university press, 2005
2. S. Bird, E. Klein, E. LoperNatural language processing with Python: analyzing text with the natural language toolkit. O'Reilly Media, Inc., 2009
3. J. Thanaki, Python natural language processing. Packt Publishing Ltd., 2017

1. D. Rothman,Transformers for Natural Language Processing: Build innovative deep neural network architectures for NLP with Python, PyTorch, TensorFlow, BERT, RoBERTa, and more. Packt Publishing Ltd., 2021
2. Ravichandiran, S. (2021). Getting Started with Google BERT: Build and train state-of-the-art natural language processing models using BERT. Packt Publishing Ltd.
3. D. Altinok, Mastering spaCy: An end-to-end practical guide to implementing NLP applications using the Python ecosystem. Packt Publishing Ltd., 2021