Mätning av modellprestanda

Maskininlärning för verksamheter

Karolis Urbonas

Head of Machine Learning & Science, Amazon

Typer av prestandamätning

Två viktiga mätvärden för övervakad inlärning:

Noggrannhet --> klassificering
Fel --> regression

Prestanda vid klassificering

Noggrannhet
Recall
Precision

Churn-exempel

Churn-prediktion

Felklassificerade poster

Ytterligare ett churn-exempel

Noggrannhet

acc

Precision

precision

Recall

recall

Prestanda vid regression

Regressionsexempel

Intäktsprediktion med en linje

Regressionsfel

Testning av icke-linjära modeller

Förbättring av felet

Användbara modeller – A/B-testning

Bra modeller är inte alltid användbara i praktiken:

Churn-prediktion, köpprediktion, prediktion av maskinfel

Testa om modellerna faktiskt förbättrar utfallen:

Rikta erbjudanden (rabatter, kuponger, kampanjer) till kunder som förutspås churna

Skicka påminnelsemejl och produktinformation till kunder som sannolikt kommer att köpa

_Ledde detta till minskad churn, fler köp och färre maskinfel? Om ja, bygg in det i en automatiserad process. Om nej, samla mer data, förbättra modellerna och testa igen. _

Nu kör vi en övning!

Maskininlärning för verksamheter