Évaluer la performance du modèle

Analytique marketing : prédire l'attrition de la clientèle avec Python

Mark Peterson

Director of Data Science, Infoblox

Exactitude

  • Une métrique possible : exactitude
    • Nombre total de prédictions correctes / Nombre total de points de données
  • Quelles données utiliser ?
    • Les données d'entraînement ne représentent pas bien les nouvelles données
Analytique marketing : prédire l'attrition de la clientèle avec Python

Ensembles d'entraînement et de test

  • Ajustez votre classifieur sur l'ensemble d'entraînement
  • Faites des prédictions avec l'ensemble de test
Analytique marketing : prédire l'attrition de la clientèle avec Python

Ensembles d'entraînement et de test avec scikit-learn

from sklearn.model_selection import train_test_split

X_train, X_test, y_train, y_test = train_test_split(telco['data'], telco['target'], 
                                   test_size=0.2, random_state = 42)

from sklearn.svm import SVC

svc = SVC()

svc.fit(X_train, y_train)

svc.predict(X_test)
Analytique marketing : prédire l'attrition de la clientèle avec Python

Calculer l'exactitude

svc.score(X_test, y_test)

0.857
  • Exactitude de 85,7 % : très bien pour un premier essai !
Analytique marketing : prédire l'attrition de la clientèle avec Python

Améliorer votre modèle

  • Surapprentissage : le modèle colle trop aux données d'entraînement
  • Sous-apprentissage : ne capte pas les tendances des données d'entraînement
  • Trouver le bon équilibre entre surapprentissage et sous-apprentissage
Analytique marketing : prédire l'attrition de la clientèle avec Python

Passons à la pratique !

Analytique marketing : prédire l'attrition de la clientèle avec Python

Preparing Video For Download...