Évaluation des performances

Comprendre le machine learning

Hadrien Lacroix

Content Developer at DataCamp

Évaluer l'étape

Comprendre le machine learning

Surajustement

  • Excellente performance sur les données d'entraînement
  • Performances médiocres sur les données de tests
  • Le modèle a mémorisé les données d' entraînement et n’est pas capable de généraliser les apprentissages à de nouvelles données.
  • Utiliser un ensemble de tests pour vérifier les performances du modèle
Comprendre le machine learning

Illustration du surajustement

Surajustement

Comprendre le machine learning

Précision

  • Précision = observations correctement classées / toutes les observations
  • 48 / 50 = 96 %

classificateur linéaire de la première leçon

Comprendre le machine learning

Limites de la précision : exemple de la fraude

$$

Précision de ce modèle :

$$\frac{28\ correctement\ classés}{30\ points\ au\ total}=93,33\ %$$

  • La majorité des transactions frauduleuses n'est pas détectée
  • Besoin d'une meilleure métrique
Comprendre le machine learning

Matrice de confusion

matrice de confusion

Comprendre le machine learning

Vrais positifs

Comprendre le machine learning

Vrais positifs

Comprendre le machine learning

Faux négatifs

Comprendre le machine learning

Faux négatifs

Comprendre le machine learning

Pour vous souvenir des faux négatifs

fp.jpg

Comprendre le machine learning

Remplissez le reste...

Comprendre le machine learning

Faux positifs, vrais négatifs

Comprendre le machine learning

Pour vous souvenir des faux positifs

fn2.jpg

Comprendre le machine learning

Sensibilité

Combien de transactions frauduleuses avons-nous classées correctement ?

$$Sensibilité = \frac{vrais\ positifs}{vrais\ positifs + faux\ négatifs} =1/3=33,33\ % $$

  • Préférable de marquer des transactions légitimes comme suspectes que d'autoriser des transactions frauduleuses
Comprendre le machine learning

Spécificité

$$Specificity = \frac{true\ negatives}{true\ negatives + false\ positives}$$

Filtre anti-spam :

  • Il est préférable d'envoyer des messages indésirables dans la boîte de réception que d'envoyer des e-mails légitimes dans le dossier des indésirables.
Comprendre le machine learning

Évaluation de la régression

Comprendre le machine learning

Évaluation de la régression

  • Erreur = distance entre le point (valeur réelle) et la ligne (valeur prédite)
  • De nombreuses façons permettent de le calculer, par exemple l'erreur quadratique moyenne.
Comprendre le machine learning

Apprentissage non supervisé

choisissez votre propre aventure

1 https://www.flickr.com/photos/micahdowty/8540188997
Comprendre le machine learning

Passons à la pratique !

Comprendre le machine learning

Preparing Video For Download...