Ce este o funcție de pierdere?

Clasificatori liniari în Python

Michael Gelbart

Instructor, The University of British Columbia

Cele mai mici pătrate: pierderea pătratică

LinearRegression din scikit-learn minimizează o pierdere: $$\sum_{i=1}^n (\text{valoarea reală} \; i \text{-a}-\text{valoarea prezisă} \; i \text{-a})^2$$
Minimizarea se face în raport cu coeficienții sau parametrii modelului.
Notă: model.score() în scikit-learn nu este neapărat funcția de pierdere.

Pierderea pătratică nu este adecvată pentru probleme de clasificare (detalii mai târziu).
O pierdere naturală pentru clasificare este numărul de erori.
Aceasta este pierderea 0-1: 0 pentru o predicție corectă și 1 pentru una incorectă.
Dar această pierdere este dificil de minimizat!

from scipy.optimize import minimize

minimize(np.square, 0).x

array([0.])

minimize(np.square, 2).x

array([-1.88846401e-08])

Clasificatori liniari în Python