Prestaties evalueren

Machine Learning begrijpen

Hadrien Lacroix

Content Developer at DataCamp

Stap evalueren

Machine Learning begrijpen

Overfitting

  • Uitstekend op trainingsdata
  • Slecht op testdata
  • Model heeft trainingsdata gememoriseerd en generaliseert niet naar nieuwe data
  • Gebruik testset om prestatie van het model te checken
Machine Learning begrijpen

Overfitting illustreren

overfitting

Machine Learning begrijpen

Nauwkeurigheid

  • Nauwkeurigheid = correct geclassificeerde observaties / alle observaties
  • 48 / 50 = 96%

lineaire classifier uit de eerste les

Machine Learning begrijpen

Grenzen van nauwkeurigheid: fraudevoorbeeld

$$

Nauwkeurigheid van dit model:

$$\frac{28\ correctly\ classified}{30\ total\ points}=93.33\%$$

  • Mist het merendeel van de frauduleuze transacties
  • Er is een betere maat nodig
Machine Learning begrijpen

Verwarringsmatrix

confusion matrix

Machine Learning begrijpen

True positives

Machine Learning begrijpen

True positives

Machine Learning begrijpen

False negatives

Machine Learning begrijpen

False negatives

Machine Learning begrijpen

False negatives onthouden

fp.jpg

Machine Learning begrijpen

Vul de rest in...

Machine Learning begrijpen

False positives, true negatives

Machine Learning begrijpen

False positives onthouden

fn2.jpg

Machine Learning begrijpen

Sensitiviteit

Hoeveel frauduleuze transacties classificeerden we correct?

$$Sensitivity = \frac{true\ positives}{true\ positives + false\ negatives} =1/3=33.33\% $$

  • Liever legitieme transacties als verdacht markeren dan frauduleuze autoriseren
Machine Learning begrijpen

Specificiteit

$$Specificiteit = \frac{true\ negatives}{true\ negatives + false\ positives}$$

Spamfilter:

  • Liever spam naar de inbox dan echte e-mails naar de spammap
Machine Learning begrijpen

Regressie evalueren

Machine Learning begrijpen

Regressie evalueren

  • Fout = afstand tussen punt (werkelijke waarde) en lijn (voorspelde waarde)
  • Veel manieren om dit te berekenen, bijv. root mean square error
Machine Learning begrijpen

Unsupervised learning

kies je eigen avontuur

1 https://www.flickr.com/photos/micahdowty/8540188997
Machine Learning begrijpen

Laten we oefenen!

Machine Learning begrijpen

Preparing Video For Download...