Mesures du modèle

Analytique marketing : prédire l'attrition de la clientèle avec Python

Mark Peterson

Director of Data Science, Infoblox

Classes déséquilibrées

telco['Churn'].value_counts()

no     2850
yes     483
Name: Churn, dtype: int64
  • L'exactitude est peu utile ici
Analytique marketing : prédire l'attrition de la clientèle avec Python

Matrice de confusion, partie 1

Analytique marketing : prédire l'attrition de la clientèle avec Python

Matrice de confusion, partie 2

Analytique marketing : prédire l'attrition de la clientèle avec Python

Matrice de confusion, partie 3

Analytique marketing : prédire l'attrition de la clientèle avec Python

Matrice de confusion, partie 4

Analytique marketing : prédire l'attrition de la clientèle avec Python

Matrice de confusion, partie 5

Analytique marketing : prédire l'attrition de la clientèle avec Python

Matrice de confusion, partie 6

Analytique marketing : prédire l'attrition de la clientèle avec Python

Matrice de confusion, partie 7

Analytique marketing : prédire l'attrition de la clientèle avec Python

Matrice de confusion, partie 8

Analytique marketing : prédire l'attrition de la clientèle avec Python

Matrice de confusion, partie 9

Analytique marketing : prédire l'attrition de la clientèle avec Python

Matrice de confusion, partie 10

Analytique marketing : prédire l'attrition de la clientèle avec Python

Matrice de confusion, partie 11

Analytique marketing : prédire l'attrition de la clientèle avec Python

Matrice de confusion, partie 12

Analytique marketing : prédire l'attrition de la clientèle avec Python

Précision

Mesure Formule
Précision True Positives / (True Positives + False Positives)

 

  • Un modèle très précis signifie :
    • Peu de faux positifs (« fausses alertes »)
    • Peu de non-déserteurs classés comme déserteurs
Analytique marketing : prédire l'attrition de la clientèle avec Python

Rappel

Mesure Formule
Rappel/Sensibilité True Positives / (True Positives + False Negatives)

 

  • Un modèle avec un fort rappel classe correctement la plupart des déserteurs
Analytique marketing : prédire l'attrition de la clientèle avec Python

Précision vs rappel

Analytique marketing : prédire l'attrition de la clientèle avec Python

Matrice de confusion dans scikit-learn

from sklearn.metrics import confusion_matrix

cm = confusion_matrix(y_test, y_pred)
Analytique marketing : prédire l'attrition de la clientèle avec Python

Passons à la pratique !

Analytique marketing : prédire l'attrition de la clientèle avec Python

Preparing Video For Download...