Che cos'è una funzione di perdita?

Classificatori lineari in Python

Michael Gelbart

Instructor, The University of British Columbia

Minimi quadrati: la perdita quadratica

LinearRegression di scikit-learn minimizza una perdita: $$\sum_{i=1}^n (\text{true} \; i \text{th target value}-\text{predicted} \; i \text{th target value})^2$$
La minimizzazione avviene rispetto ai coefficienti o ai parametri del modello.
Nota: in scikit-learn model.score() non è necessariamente la funzione di perdita.

La perdita quadratica non è adatta ai problemi di classificazione (ne parleremo più avanti).
Una perdita naturale per la classificazione è il numero di errori.
Questa è la perdita 0-1: vale 0 per una previsione corretta e 1 per una errata.
Ma questa perdita è difficile da minimizzare!

from scipy.optimize import minimize

minimize(np.square, 0).x

array([0.])

minimize(np.square, 2).x

array([-1.88846401e-08])

Classificatori lineari in Python