Що таке функція втрат?

Лінійні класифікатори в Python

Michael Gelbart

Instructor, The University of British Columbia

Метод найменших квадратів: квадратичні втрати

  • LinearRegression у scikit-learn мінімізує втрати: $$\sum_{i=1}^n (\text{true} \; i \text{th target value}-\text{predicted} \; i \text{th target value})^2$$
  • Мінімізація відбувається щодо коефіцієнтів або параметрів моделі.
  • Зауважте: у scikit-learn model.score() — це не обов'язково функція втрат.
Лінійні класифікатори в Python

Помилки класифікації: 0-1 втрата

  • Квадратичні втрати не підходять для задач класифікації (детальніше згодом).
  • Природна втрата для класифікації — це кількість помилок.
  • Це 0-1 втрата: 0 для правильного передбачення і 1 для неправильного.
  • Але таку втрату важко мінімізувати!
Лінійні класифікатори в Python

Мінімізація втрат

from scipy.optimize import minimize
minimize(np.square, 0).x
array([0.])
minimize(np.square, 2).x
array([-1.88846401e-08])
Лінійні класифікатори в Python

Давайте потренуємось!

Лінійні класифікатори в Python

Preparing Video For Download...