Évaluation de modèles : classification déséquilibrée

S'exercer aux questions d'entrevue en Machine Learning avec Python

Lisa Stuart

Data Scientist

Déséquilibre des classes

  • Variable cible catégorielle
    • Nombre d'observations/classe à peu près égal
    • Grand écart → résultats trompeurs

Classes déséquilibrées vs équilibrées

S'exercer aux questions d'entrevue en Machine Learning avec Python

Matrice de confusion

Matrice de confusion

1 https://scaryscientist.blogspot.com/2016/03/confusion-matrix.html
S'exercer aux questions d'entrevue en Machine Learning avec Python

Mesures de performance

Mesures de performance

1 https://scaryscientist.blogspot.com/2016/03/confusion-matrix.html
S'exercer aux questions d'entrevue en Machine Learning avec Python

Mesures issues de la matrice

Mesures de performance

1 https://scaryscientist.blogspot.com/2016/03/confusion-matrix.html
S'exercer aux questions d'entrevue en Machine Learning avec Python

Techniques de rééchantillonnage

  • Suréchantillonner la classe minoritaire
  • Sous-échantillonner la classe majoritaire
  • REMARQUE : fractionner en ensembles d'entraînement et de test AVANT le rééchantillonnage !

Techniques de rééchantillonnage

1 https://www.svds.com/learning-imbalanced-classes/
S'exercer aux questions d'entrevue en Machine Learning avec Python

Fonctions

Fonction renvoie
sklearn.linear_model.LogisticRegression régression logistique
sklearn.metrics.confusion_matrix(y_test,y_pred) matrice de confusion
sklearn.metrics.precision_score(y_test,y_pred) précision
sklearn.metrics.recall_score(y_test,y_pred) rappel
sklearn.metrics.f1_score(y_test,y_pred) score f1
sklearn.utils.resample(deny, n_samples=len(approve)) rééchantillonne
S'exercer aux questions d'entrevue en Machine Learning avec Python

Passons à la pratique !

S'exercer aux questions d'entrevue en Machine Learning avec Python

Preparing Video For Download...