Riscurile învățării automate

Machine Learning pentru afaceri

Karolis Urbonas

Head of Machine Learning & Science, Amazon

Performanță slabă

Unele modele au performanțe slabe (verificați performanța pe datele de test, nu de antrenament):

  • Precizie scăzută

  • Recall scăzut

  • Eroare mare

Machine Learning pentru afaceri

Precizie scăzută

Precizie scăzută - multe elemente clasificate greșit în clasa de interes = mulți fals pozitivi

Exemplu - doar 10% dintre clienții identificați ca probabili cumpărători au achiziționat efectiv produsul

Machine Learning pentru afaceri

Recall scăzut

Recall scăzut - doar o mică parte din observațiile din clasă au fost corect identificate (recuperate) de model

Exemplu - doar 25% din toate tranzacțiile frauduloase au fost identificate de model

Machine Learning pentru afaceri

Eroare mare

Eroare mare - diferențe mari între valorile prezise și cele reale

Exemplu - eroarea medie pentru predicția scorului de satisfacție a clienților este de 3,5 unități sau 70% în puncte procentuale

Machine Learning pentru afaceri

Cazuri de utilizare a modelelor care nu pot fi acționate

Î: Cum se testează corect modelele?

R: Rulați teste/experimente pentru a le valida performanța, de ex. e-mailuri de prevenire a abandonului, promoții de produse, mentenanță manuală a utilajelor, revizuirea manuală a tranzacțiilor

Machine Learning pentru afaceri

Testare A/B

Test A/B

Machine Learning pentru afaceri

Ce se întâmplă când testele nu funcționează?

  • Obțineți mai multe date - implicarea echipei de business
  • Construiți modele cauzale pentru a înțelege factorii
  • Realizați cercetare calitativă (sondaje etc.)
  • Modificați domeniul problemei
    • Restrângeți
    • Extindeți
    • Altă întrebare
Machine Learning pentru afaceri

Să exersăm!

Machine Learning pentru afaceri

Preparing Video For Download...