2.1 Байесовское оценивание. Регуляризация. Численное решение регрессии#
Содержание семинара:
Критерии переобучения
Регуляризация наивно
Ridge (l2)
Lasso (l1)
ElasticNet
Теорема Байеса
Уточнение параметров распределений
Примеры применения
Регуляризация из теоремы Байеса
Градиентный спуск - численный способ минимизации Loss-a. Простейший случай
Общий алгоритм
Стохастический градиентный спуск
Гиперпараметры и кросс-валидация
Grid search
Random search
Домашнее задание