Risker med maskininlärning

Maskininlärning för verksamheter

Karolis Urbonas

Head of Machine Learning & Science, Amazon

Dålig prestanda

Vissa modeller presterar dåligt (kontrollera testprestanda, inte träningsprestanda):

  • Låg precision

  • Låg recall

  • Stort fel

Maskininlärning för verksamheter

Låg precision

Låg precision – många felklassificerade objekt i klassen av intresse = många falskt positiva

Exempel – endast 10 % av kunderna som identifierades som troliga köpare genomförde faktiskt ett köp

Maskininlärning för verksamheter

Låg recall

Låg recall – endast en liten andel av alla observationer i klassen har fångats korrekt av modellen

Exempel – endast 25 % av alla bedrägliga transaktioner identifierades av modellen

Maskininlärning för verksamheter

Stort fel

Stort fel – stora skillnader mellan förutsagda och faktiska värden

Exempel – det genomsnittliga felet för förutsägelsen av kundnöjdhet är 3,5 enheter, eller 70 procentenheter

Maskininlärning för verksamheter

Modeller utan praktisk tillämpning

F: Hur testar man modeller på rätt sätt?

S: Kör tester och experiment för att validera prestandan – t.ex. e-post för att förhindra kundbortfall, produktkampanjer, manuellt maskinunderhåll, manuell transaktionsgranskning

Maskininlärning för verksamheter

A/B-testning

A/B-test

Maskininlärning för verksamheter

Vad gör man om testerna inte fungerar?

  • Samla in mer data – verksamheten måste involveras
  • Bygg kausala modeller för att förstå drivkrafterna
  • Genomför kvalitativ forskning (enkäter m.m.)
  • Ändra problemets omfattning
    • Begränsa
    • Utvidga
    • Formulera om frågan
Maskininlärning för verksamheter

Nu kör vi en övning!

Maskininlärning för verksamheter

Preparing Video For Download...