1.3 Линейная регрессия. PCA

Содержание семинара:

• Задача регрессии (аппроксимации)

  • Формулировка

  • Семейства функций (модели)

    • Примеры

• Функция потерь (Loss)

  • MSE, RMSE, log-loss

• Матрица объекты-признаки

• Линейная регрессия

  • Матрица объекты-признаки

  • Точное решение для MSE

  • Пример с независимыми признаками

  • Пример с многочленами

• Переобучение - общая проблема регрессии

• Метод главных компонент (PCA)

  • Ковариационная матрица

  • PCA как метод борьбы с переобучением

  • Пример с обрезкой лишних признаков

  • Пример с сжатием изображения

• Домашнее задание