Évaluer la performance

Comprendre le Machine Learning

Hadrien Lacroix

Content Developer at DataCamp

Étape d'évaluation

Comprendre le Machine Learning

Surapprentissage

  • Excellents résultats sur les données d'entraînement
  • Mauvais résultats sur les données de test
  • Le modèle a mémorisé l'entraînement et ne généralise pas aux nouvelles données
  • Utiliser l'ensemble de test pour vérifier la performance
Comprendre le Machine Learning

Illustrer le surapprentissage

surapprentissage

Comprendre le Machine Learning

Exactitude

  • Exactitude = observations bien classées / toutes les observations
  • 48 / 50 = 96 %

classifieur linéaire de la première leçon

Comprendre le Machine Learning

Limites de l'exactitude : exemple de fraude

$$

Exactitude de ce modèle :

$$\frac{28\ correctly\ classified}{30\ total\ points}=93.33\%$$

  • Rate la majorité des transactions frauduleuses
  • Il faut une meilleure mesure
Comprendre le Machine Learning

Matrice de confusion

matrice de confusion

Comprendre le Machine Learning

Vrais positifs

Comprendre le Machine Learning

Vrais positifs

Comprendre le Machine Learning

Faux négatifs

Comprendre le Machine Learning

Faux négatifs

Comprendre le Machine Learning

Se rappeler des faux négatifs

fp.jpg

Comprendre le Machine Learning

Compléter le reste…

Comprendre le Machine Learning

Faux positifs, vrais négatifs

Comprendre le Machine Learning

Se rappeler des faux positifs

fn2.jpg

Comprendre le Machine Learning

Sensibilité

Combien de transactions frauduleuses avons-nous bien classées ?

$$Sensitivity = \frac{true\ positives}{true\ positives + false\ negatives} =1/3=33.33\% $$

  • Mieux vaut marquer des transactions légitimes comme suspectes que d'autoriser des transactions frauduleuses
Comprendre le Machine Learning

Spécificité

$$Specificity = \frac{true\ negatives}{true\ negatives + false\ positives}$$

Filtre antipourriel :

  • Mieux vaut laisser passer du pourriel que d'envoyer de vrais courriels dans le dossier pourriel
Comprendre le Machine Learning

Évaluer une régression

Comprendre le Machine Learning

Évaluer une régression

  • Erreur = distance entre le point (valeur réelle) et la ligne (valeur prédite)
  • Plusieurs calculs possibles, p. ex. l'erreur quadratique moyenne (RMSE)
Comprendre le Machine Learning

Apprentissage non supervisé

choisissez votre aventure

1 https://www.flickr.com/photos/micahdowty/8540188997
Comprendre le Machine Learning

Passons à la pratique !

Comprendre le Machine Learning

Preparing Video For Download...