Что такое функция потерь?

Линейные классификаторы в Python

Michael Gelbart

Instructor, The University of British Columbia

Метод наименьших квадратов: квадратичные потери

  • LinearRegression из scikit-learn минимизирует потери: $$\sum_{i=1}^n (\text{true} \; i \text{th target value}-\text{predicted} \; i \text{th target value})^2$$
  • Минимизация выполняется по коэффициентам (параметрам) модели.
  • Обратите внимание: model.score() в scikit-learn — не обязательно функция потерь.
Линейные классификаторы в Python

Ошибки классификации: потери 0-1

  • Квадратичные потери не подходят для задач классификации (подробнее — позже).
  • Естественная мера потерь для классификации — количество ошибок.
  • Это потери 0-1: 0 при верном предсказании и 1 при неверном.
  • Однако такую функцию потерь сложно минимизировать!
Линейные классификаторы в Python

Минимизация функции потерь

from scipy.optimize import minimize

minimize(np.square, 0).x

array([0.])

minimize(np.square, 2).x

array([-1.88846401e-08])
Линейные классификаторы в Python

Давайте потренируемся!

Линейные классификаторы в Python

Preparing Video For Download...