Przekazanie wiedzy z zakresu teorii, metod i algorytmów optymalizacji, ze szczególnym uwzględnieniem ich zastosowań w data science i uczeniu maszynowym. Rozwój praktycznych umiejętności formułowania i rozwiązywania problemów optymalizacyjnych w kontekście analizy danych i budowy modeli.

Ramowe treści programowe

Podstawowe pojęcia optymalizacji, klasyfikacja problemów optymalizacyjnych oraz przykłady zastosowań w data science. Optymalizacja bez ograniczeń, metody gradientowe poszukiwania ekstremów funkcji jednej i wielu zmiennych, warunki konieczne i dostateczne ekstremum. Optymalizacja z ograniczeniami, mnożniki Lagrange’a, warunki Kuhna-Tucka, metody funkcji kary. Programowanie liniowe, metoda sympleks, algorytm punktu wewnętrznego, dualizm w programowaniu liniowym. Optymalizacja wypukła, definicje i własności. Metody stochastyczne w optymalizacji, stochastyczny spadek gradientu (SGD), mini-batch SGD. Metody heurystyczne i metaheurystyczne, algorytmy genetyczne, symulowane wyżarzanie, optymalizacja rojem cząstek.

Wykład

1 Wprowadzenie do optymalizacji - podstawowe pojęcia, klasyfikacja problemów optymalizacyjnych, przykłady zastosowań w data science.
2 Optymalizacja bez ograniczeń - metody gradientowe poszukiwania ekstremów funkcji jednej i wielu zmiennych, warunki konieczne i dostateczne ekstremum.
3 Optymalizacja z ograniczeniami - mnożniki Lagrange'a, warunki Kuhna-Tuckera, metody funkcji kary.
4 Programowanie liniowe - metoda sympleks, algorytm punktu wewnętrznego, dualizm w programowaniu liniowym.
5 Optymalizacja wypukła - definicje, własności.
6 Metody stochastyczne w optymalizacji - stochastyczny spadek gradientu (SGD), mini-batch SGD.
7 Metody heurystyczne i metaheurystyczne - algorytmy genetyczne, symulowane wyżarzanie, optymalizacja rojem cząstek.
8 Zaliczenie wykładu.

Pracownia specjalistyczna

1 Implementacja wybranych gradientowych metod optymalizacji funkcji jednej zmiennej (metoda siecznych, Newtona, Davidona).
2 Implementacja wybranych gradientowych metod optymalizacji bez ograniczeń funkcji wielu zmiennych (metoda najszybszego spadku, metoda gradientów sprzężonych, metoda Newtona).
3 Implementacja wybranych metod optymalizacji z ograniczeniami (metody funkcji kary).
4 Programowanie liniowe w praktyce - formułowanie problemów, implementacja i zastosowanie w data science.
5 Stochastyczne metody optymalizacji - implementacja SGD i wariantów, zastosowania w uczeniu maszynowym.
6 Implementacja wybranych algorytmów metaheurystycznych i ich zastosowanie w problemach z dziedziny data science.
7 Projekt końcowy - rozwiązanie złożonego problemu optymalizacyjnego z zakresu analizy danych lub uczenia maszynowego.
8 Zaliczenie pracowni specjalistycznej.

dyskusja rozwiązań,   praca w grupach,   wykład konwersatoryjny,   wykład problemowy,   wykład z prezentacją multimedialną,  

W zaliczenie pisemne z pytaniami testowymi i otwartymi
Ps opracowanie zadań projektowych realizowanych w grupach

1 J. Arabas, Wykłady z algorytmów ewolucyjnych, WNT, 2004
2 A. Stachurski, Wprowadzenie do optymalizacji, OW PW, 2009
3 P. Oprocha, A. Danielewska-Tułecka, J. Kusiak, Optymalizacja: Wybrane metody z przykładami zastosowań, PWN, 2019
4 J. Stadnicki, Teoria i praktyka rozwiązywania zadań optymalizacji z przykładami zastosowań technicznych, WNT, 2017

1 M. Brdyś, A. Ruszczyński, Metody optymalizacji w zadaniach, WNT, 1985
2 A. Nowak, Optymalizacja. Teoria i zadania, Wyd. Politechniki Śląskiej, 2007
3 K. Piekarski, Metody optymalizacji. Wybrane zagadnienia, OW PB, 2024