¿Qué es una función de pérdida?

Clasificadores lineales en Python

Michael Gelbart

Instructor, The University of British Columbia

Mínimos cuadrados: pérdida cuadrática

LinearRegression de scikit-learn minimiza una pérdida: $$\sum_{i=1}^n (\text{true} \; i \text{th target value}-\text{predicted} \; i \text{th target value})^2$$
La minimización se hace respecto a los coeficientes o parámetros del modelo.
Ten en cuenta que en scikit-learn model.score() no es necesariamente la función de pérdida.

La pérdida cuadrática no es adecuada para clasificación (más sobre esto después).
Una pérdida natural para clasificación es el número de errores.
Esta es la pérdida 0-1: vale 0 si la predicción es correcta y 1 si es incorrecta.
¡Pero esta pérdida es difícil de minimizar!

from scipy.optimize import minimize

minimize(np.square, 0).x

array([0.])

minimize(np.square, 2).x

array([-1.88846401e-08])

Clasificadores lineales en Python