Măsurarea performanței modelului

Machine Learning pentru afaceri

Karolis Urbonas

Head of Machine Learning & Science, Amazon

Tipuri de măsurare a performanței

Două metrici cheie pentru învățarea supervizată:

  1. Acuratețe --> clasificare
  2. Eroare --> regresie
Machine Learning pentru afaceri

Performanța clasificării

  • Acuratețe

  • Rată de recuperare

  • Precizie

Machine Learning pentru afaceri

Exemplu de abandon

c1

Machine Learning pentru afaceri

Exemplu de abandon

c2

Machine Learning pentru afaceri

Predicția abandonului

c3

Machine Learning pentru afaceri

Elemente clasificate greșit

c4

Machine Learning pentru afaceri

O altă predicție a abandonului

c5

Machine Learning pentru afaceri

Acuratețe

acc

Machine Learning pentru afaceri

Precizie

precision

Machine Learning pentru afaceri

Rată de recuperare

recall

Machine Learning pentru afaceri

Performanța regresiei

  • Eroare
Machine Learning pentru afaceri

Exemplu de regresie

r1

Machine Learning pentru afaceri

Predicția veniturilor cu o dreaptă

r2

Machine Learning pentru afaceri

Eroarea de regresie

r3

Machine Learning pentru afaceri

Testarea modelelor neliniare

r4

Machine Learning pentru afaceri

Îmbunătățiri ale erorii

r5

Machine Learning pentru afaceri

Modele acționabile - testare A/B

Modelele bune nu sunt întotdeauna acționabile:

Predicția abandonului, a achizițiilor, a defecțiunilor utilajelor

Testați dacă utilizarea modelelor îmbunătățește rezultatele:

Vizați clienții cu risc de abandon cu stimulente (reduceri, cupoane, promoții)

Trimiteți emailuri de reamintire și detalii despre produse clienților care ar putea achiziționa

_Aceasta a dus la scăderea abandonului, creșterea ratei de achiziție și reducerea defecțiunilor? Dacă da, integrați în procesul automatizat. Dacă nu, colectați mai multe date, îmbunătățiți modelele și testați din nou. _

Machine Learning pentru afaceri

Să exersăm!

Machine Learning pentru afaceri

Preparing Video For Download...