Vad är en förlustfunktion?

Linjära klassificerare i Python

Michael Gelbart

Instructor, The University of British Columbia

Minsta kvadrat: kvadratisk förlust

scikit-learns LinearRegression minimerar en förlust: $$\sum_{i=1}^n (\text{true} \; i \text{th target value}-\text{predicted} \; i \text{th target value})^2$$
Minimering sker med avseende på modellens koefficienter eller parametrar.
Observera att model.score() i scikit-learn inte nödvändigtvis är förlustfunktionen.

Kvadratisk förlust passar inte för klassificeringsproblem (mer om detta senare).
En naturlig förlust för klassificering är antalet fel.
Det kallas 0-1-förlust: 0 för en korrekt prediktion och 1 för en felaktig.
Men den här förlusten är svår att minimera!

from scipy.optimize import minimize

minimize(np.square, 0).x

array([0.])

minimize(np.square, 2).x

array([-1.88846401e-08])

Linjära klassificerare i Python