Valutare le prestazioni del modello

Marketing Analytics: Prevedere il churn dei clienti in Python

Mark Peterson

Director of Data Science, Infoblox

Accuracy

  • Una possibile metrica: Accuracy
    • Numero totale di predizioni corrette / Numero totale di punti dati
  • Quali dati usare?
    • I dati di training non rappresentano i nuovi dati
Marketing Analytics: Prevedere il churn dei clienti in Python

Training e test set

  • Allena il classificatore sul training set
  • Fai predizioni sul test set
Marketing Analytics: Prevedere il churn dei clienti in Python

Training e test set con scikit-learn

from sklearn.model_selection import train_test_split

X_train, X_test, y_train, y_test = train_test_split(telco['data'], telco['target'], 
                                   test_size=0.2, random_state = 42)

from sklearn.svm import SVC

svc = SVC()

svc.fit(X_train, y_train)

svc.predict(X_test)
Marketing Analytics: Prevedere il churn dei clienti in Python

Calcolare l'accuracy

svc.score(X_test, y_test)

0.857
  • Accuracy 85,7%: ottimo per un primo tentativo!
Marketing Analytics: Prevedere il churn dei clienti in Python

Migliorare il modello

  • Overfitting: il modello aderisce troppo ai dati di training
  • Underfitting: non cattura i trend nei dati di training
  • Serve il giusto equilibrio tra overfitting e underfitting
Marketing Analytics: Prevedere il churn dei clienti in Python

Passiamo alla pratica !

Marketing Analytics: Prevedere il churn dei clienti in Python

Preparing Video For Download...