Mesures de classification

Validation de modèles en Python

Kasey Jones

Data Scientist

Mesures de classification

  • Précision
  • Rappel (aussi appelé sensibilité)
  • Exactitude
  • Spécificité
  • Score F1 et variantes
  • ...
Validation de modèles en Python

Mesures de classification

  • Précision
  • Rappel (aussi appelé sensibilité)
  • Exactitude
  • Spécificité
  • Score F1 et variantes
  • ...
Validation de modèles en Python

Matrice de confusion

Une matrice de confusion est une matrice 2x2 qui indique combien d'observations ont été prédites 0 ou 1, et combien étaient réellement 0 ou 1. Elle sert à calculer diverses mesures d'exactitude.

Validation de modèles en Python
from sklearn.metrics import confusion_matrix
cm = confusion_matrix(y_test, test_predictions)
print(cm)

array([[ 23,  7],
       [  8, 62]])

cm[<true_category_index>, <predicted_category_index>]
cm[1, 0]

8
Validation de modèles en Python

Exactitude

L'exactitude se calcule à partir de la diagonale principale de la matrice de confusion.

Validation de modèles en Python

Précision

La précision porte sur les observations prédites comme 1. Parmi toutes les prédictions à 1, combien étaient réellement 1 ?

Validation de modèles en Python

Rappel

Le rappel porte sur les observations réellement à 1. Parmi ces 1, combien avons-nous prédit comme 1 ?

Validation de modèles en Python

Exactitude, précision, rappel

from sklearn.metrics import accuracy_score, precision_score, recall_score
accuracy_score(y_test, test_predictions)

.85

precision_score(y_test, test_predictions)

.8986

recall_score(y_test, test_predictions)

.8857
Validation de modèles en Python

Passons à la pratique !

Validation de modèles en Python

Preparing Video For Download...