Utvärdera modellprestanda

Marknadsföringsanalys: Prediktera kundbortfall i Python

Mark Peterson

Director of Data Science, Infoblox

Noggrannhet

  • Ett möjligt mått: Noggrannhet
    • Antal korrekta förutsägelser / Totalt antal datapunkter
  • Vilken data ska användas?
    • Träningsdata är inte representativ för ny data
Marknadsföringsanalys: Prediktera kundbortfall i Python

Tränings- och testuppsättningar

  • Anpassa klassificeraren till träningsuppsättningen
  • Gör förutsägelser med testuppsättningen
Marknadsföringsanalys: Prediktera kundbortfall i Python

Tränings- och testuppsättningar med scikit-learn

from sklearn.model_selection import train_test_split

X_train, X_test, y_train, y_test = train_test_split(telco['data'], telco['target'], 
                                   test_size=0.2, random_state = 42)

from sklearn.svm import SVC

svc = SVC()

svc.fit(X_train, y_train)

svc.predict(X_test)
Marknadsföringsanalys: Prediktera kundbortfall i Python

Beräkna noggrannhet

svc.score(X_test, y_test)

0.857
  • 85,7% noggrannhet: Riktigt bra för ett första försök!
Marknadsföringsanalys: Prediktera kundbortfall i Python

Förbättra din modell

  • Överanpassning: Modellen anpassas för nära till träningsdata
  • Underanpassning: Fångar inte upp mönster i träningsdata
  • Det gäller att hitta rätt balans mellan överanpassning och underanpassning
Marknadsföringsanalys: Prediktera kundbortfall i Python

Nu kör vi en övning!

Marknadsföringsanalys: Prediktera kundbortfall i Python

Preparing Video For Download...