Modelprestatie meten

Machine Learning voor Business

Karolis Urbonas

Head of Machine Learning & Science, Amazon

Soorten prestatiemeting

Twee kernmetrics voor supervised learning:

  1. Nauwkeurigheid --> classificatie
  2. Fout --> regressie
Machine Learning voor Business

Classificatieprestatie

  • Nauwkeurigheid

  • Recall

  • Precisie

Machine Learning voor Business

Churn-voorbeeld

c1

Machine Learning voor Business

Churn-voorbeeld

c2

Machine Learning voor Business

Churn-voorspelling

c3

Machine Learning voor Business

Verkeerd ingedeelde items

c4

Machine Learning voor Business

Nog een churn-voorspelling

c5

Machine Learning voor Business

Nauwkeurigheid

acc

Machine Learning voor Business

Precisie

precision

Machine Learning voor Business

Recall

recall

Machine Learning voor Business

Regressieprestatie

  • Fout
Machine Learning voor Business

Regressievoorbeeld

r1

Machine Learning voor Business

Omzet voorspellen met een lijn

r2

Machine Learning voor Business

Regressiefout

r3

Machine Learning voor Business

Niet-lineaire modellen testen

r4

Machine Learning voor Business

Foutverbeteringen

r5

Machine Learning voor Business

Actiegerichte modellen - A/B-testen

Goede modellen zijn niet altijd actiegericht:

Churn-voorspelling, aankoopvoorspelling, machinefout-voorspelling

Test of gebruik van modellen uitkomsten verbetert:

Richt je op klanten met churn-risico met incentives (kortingen, coupons, promoties)

Stuur herinneringsmails en productinfo naar klanten die likely to purchase zijn

Leidde dit tot minder churn, hogere aankoopratio en minder machinefouten? Ja: automatiseer. Nee: verzamel meer data, verbeter modellen en test opnieuw.

Machine Learning voor Business

Laten we oefenen!

Machine Learning voor Business

Preparing Video For Download...