Qu'est-ce qu'une fonction de perte?

Classificateurs linéaires en Python

Michael Gelbart

Instructor, The University of British Columbia

Moindres carrés : la perte quadratique

LinearRegression de scikit-learn minimise une perte : $$\sum_{i=1}^n (\text{valeur cible vraie } i\text{e}-\text{valeur cible prédite } i\text{e})^2$$
La minimisation se fait par rapport aux coefficients ou paramètres du modèle.
Remarquez que dans scikit-learn, model.score() n'est pas forcément la fonction de perte.

La perte quadratique ne convient pas aux tâches de classification (nous y reviendrons).
Une perte naturelle pour la classification est le nombre d'erreurs.
C'est la perte 0-1 : 0 pour une prédiction correcte, 1 pour une prédiction incorrecte.
Mais cette perte est difficile à minimiser !

from scipy.optimize import minimize

minimize(np.square, 0).x

array([0.])

minimize(np.square, 2).x

array([-1.88846401e-08])

Classificateurs linéaires en Python