Hodnocení výkonu modelu

Marketing Analytics: Predicting Customer Churn in Python

Mark Peterson

Director of Data Science, Infoblox

Přesnost

  • Jedna možná metrika: Přesnost
    • Celkový počet správných predikcí / celkový počet datových bodů
  • Jaká data použít?
    • Trénovací data nejsou reprezentativní pro nová data
Marketing Analytics: Predicting Customer Churn in Python

Trénovací a testovací sady

  • Natrénujte klasifikátor na trénovací sadě
  • Proveďte predikce pomocí testovací sady
Marketing Analytics: Predicting Customer Churn in Python

Trénovací a testovací sady v scikit-learn

from sklearn.model_selection import train_test_split

X_train, X_test, y_train, y_test = train_test_split(telco['data'], telco['target'], 
                                   test_size=0.2, random_state = 42)

from sklearn.svm import SVC

svc = SVC()

svc.fit(X_train, y_train)

svc.predict(X_test)
Marketing Analytics: Predicting Customer Churn in Python

Výpočet přesnosti

svc.score(X_test, y_test)

0.857
  • Přesnost 85,7 %: Na první pokus velmi dobrý výsledek!
Marketing Analytics: Predicting Customer Churn in Python

Zlepšení modelu

  • Přeučení: Model se příliš přizpůsobí trénovacím datům
  • Nedoučení: Model nezachycuje trendy v trénovacích datech
  • Je třeba najít správnou rovnováhu mezi přeučením a nedoučením
Marketing Analytics: Predicting Customer Churn in Python

Pojďme cvičit!

Marketing Analytics: Predicting Customer Churn in Python

Preparing Video For Download...