Ocena wydajności modelu

Marketing Analytics: Przewidywanie rezygnacji klientów w Pythonie

Mark Peterson

Director of Data Science, Infoblox

Dokładność

  • Jedna możliwa metryka: Dokładność
    • Liczba poprawnych przewidywań / Całkowita liczba punktów danych
  • Jakich danych użyć?
    • Dane treningowe nie są reprezentatywne dla nowych danych
Marketing Analytics: Przewidywanie rezygnacji klientów w Pythonie

Zbiory treningowy i testowy

  • Dopasuj klasyfikator do zbioru treningowego
  • Wykonaj przewidywania na zbiorze testowym
Marketing Analytics: Przewidywanie rezygnacji klientów w Pythonie

Zbiory treningowy i testowy w scikit-learn

from sklearn.model_selection import train_test_split

X_train, X_test, y_train, y_test = train_test_split(telco['data'], telco['target'], 
                                   test_size=0.2, random_state = 42)

from sklearn.svm import SVC

svc = SVC()

svc.fit(X_train, y_train)

svc.predict(X_test)
Marketing Analytics: Przewidywanie rezygnacji klientów w Pythonie

Obliczanie dokładności

svc.score(X_test, y_test)

0.857
  • Dokładność 85,7%: Całkiem dobry wynik na początek!
Marketing Analytics: Przewidywanie rezygnacji klientów w Pythonie

Ulepszanie modelu

  • Przeuczenie: model zbyt ściśle dopasowuje się do danych treningowych
  • Niedouczenie: model nie wychwytuje trendów w danych treningowych
  • Należy znaleźć właściwą równowagę między przeuczeniem a niedouczeniem
Marketing Analytics: Przewidywanie rezygnacji klientów w Pythonie

Czas na ćwiczenia!

Marketing Analytics: Przewidywanie rezygnacji klientów w Pythonie

Preparing Video For Download...