Evaluarea performanței

Înțelegerea Machine Learning-ului

Hadrien Lacroix

Content Developer at DataCamp

Etapa de evaluare

Înțelegerea Machine Learning-ului

Supraantrenare

  • Performanță excelentă pe datele de antrenare
  • Performanță slabă pe datele de testare
  • Modelul a memorat datele de antrenare și nu poate generaliza la date noi
  • Utilizați setul de testare pentru a verifica performanța modelului
Înțelegerea Machine Learning-ului

Ilustrarea supraantrenării

supraantrenare

Înțelegerea Machine Learning-ului

Acuratețe

  • Acuratețe = observații clasificate corect / toate observațiile
  • 48 / 50 = 96%

clasificator liniar din prima lecție

Înțelegerea Machine Learning-ului

Limitele acurateței: exemplu de fraudă

$$

Acuratețea acestui model:

$$\frac{28\ clasificate\ corect}{30\ puncte\ totale}=93,33\%$$

  • Ratează majoritatea tranzacțiilor frauduloase
  • Este nevoie de o metrică mai bună
Înțelegerea Machine Learning-ului

Matrice de confuzie

matrice de confuzie

Înțelegerea Machine Learning-ului

Adevărat pozitive

Înțelegerea Machine Learning-ului

Adevărat pozitive

Înțelegerea Machine Learning-ului

Fals negative

Înțelegerea Machine Learning-ului

Fals negative

Înțelegerea Machine Learning-ului

Cum să reținem falsele negative

fp.jpg

Înțelegerea Machine Learning-ului

Completați restul...

Înțelegerea Machine Learning-ului

Fals pozitive, adevărat negative

Înțelegerea Machine Learning-ului

Cum să reținem falsele pozitive

fn2.jpg

Înțelegerea Machine Learning-ului

Sensibilitate

Câte tranzacții frauduloase am clasificat corect?

$$Sensibilitate = \frac{adevărat\ pozitive}{adevărat\ pozitive + fals\ negative} =1/3=33,33\% $$

  • Mai bine marcăm tranzacții legitime ca suspecte decât să autorizăm tranzacții frauduloase
Înțelegerea Machine Learning-ului

Specificitate

$$Specificitate = \frac{adevărat\ negative}{adevărat\ negative + fals\ pozitive}$$

Filtru de spam:

  • Mai bine trimitem spam în inbox decât să trimitem emailuri reale în dosarul de spam
Înțelegerea Machine Learning-ului

Evaluarea regresiei

Înțelegerea Machine Learning-ului

Evaluarea regresiei

  • Eroare = distanța dintre punct (valoarea reală) și linie (valoarea prezisă)
  • Există mai multe modalități de calcul, ex. eroarea pătratică medie
Înțelegerea Machine Learning-ului

Învățare nesupervizată

alege-ți propria aventură

1 https://www.flickr.com/photos/micahdowty/8540188997
Înțelegerea Machine Learning-ului

Să exersăm!

Înțelegerea Machine Learning-ului

Preparing Video For Download...