Evaluarea performanței modelului

Marketing Analytics: Predicția abandonului clienților în Python

Mark Peterson

Director of Data Science, Infoblox

Acuratețea

  • O metrică posibilă: Acuratețea
    • Numărul total de predicții corecte / Numărul total de puncte de date
  • Ce date să folosim?
    • Datele de antrenament nu sunt reprezentative pentru date noi
Marketing Analytics: Predicția abandonului clienților în Python

Seturi de antrenament și de testare

  • Antrenați clasificatorul pe setul de antrenament
  • Faceți predicții folosind setul de testare
Marketing Analytics: Predicția abandonului clienților în Python

Seturi de antrenament și testare cu scikit-learn

from sklearn.model_selection import train_test_split

X_train, X_test, y_train, y_test = train_test_split(telco['data'], telco['target'], 
                                   test_size=0.2, random_state = 42)

from sklearn.svm import SVC

svc = SVC()

svc.fit(X_train, y_train)

svc.predict(X_test)
Marketing Analytics: Predicția abandonului clienților în Python

Calcularea acurateței

svc.score(X_test, y_test)

0.857
  • Acuratețe de 85,7%: Destul de bun pentru un început!
Marketing Analytics: Predicția abandonului clienților în Python

Îmbunătățirea modelului

  • Supraajustare: Modelul se potrivește prea bine datelor de antrenament
  • Subajustare: Nu surprinde tendințele din datele de antrenament
  • Este necesară găsirea echilibrului între supraajustare și subajustare
Marketing Analytics: Predicția abandonului clienților în Python

Să exersăm!

Marketing Analytics: Predicția abandonului clienților în Python

Preparing Video For Download...