Risico’s van machine learning

Machine Learning voor Business

Karolis Urbonas

Head of Machine Learning & Science, Amazon

Slechte prestaties

Sommige modellen presteren slecht (beoordeel vooral de test- en niet de trainingsprestatie):

Lage precision
Lage recall
Grote fout

Lage precision

Lage precision – veel verkeerd ingedeelde items in de doelklasse = veel false positives

Voorbeeld – slechts 10% van de als koopkansrijk gemarkeerde klanten kocht echt

Lage recall

Lage recall – het model vangt maar een klein deel van alle voorbeelden in de klasse

Voorbeeld – slechts 25% van alle frauduleuze transacties wordt herkend

Grote fout

Grote fout – grote verschillen tussen voorspelde en werkelijke waarden

Voorbeeld – de gemiddelde fout in de voorspelling van klanttevredenheid is 3,5 punten of 70 procentpunten

Niet‑actiegerichte modeltoepassingen

V: Hoe test je modellen goed?

A: Voer tests/experimenten uit om prestaties te valideren, bijv. churn‑preventie‑e-mails, productpromoties, handmatig onderhoud, handmatige transactiereview

A/B-testen

abtest

Wat als tests niet werken?

Verzamel meer data – betrek de business
Bouw causale modellen om drijvers te begrijpen
Doe kwalitatief onderzoek (enquêtes e.d.)
Verander de probleemscope
- Vernauw
- Verbreed
- Andere vraag

Laten we oefenen!

Machine Learning voor Business