Оценка качества модели

Маркетинговая аналитика: прогнозирование оттока клиентов на Python

Mark Peterson

Director of Data Science, Infoblox

Точность

  • Одна из метрик: точность
    • Число верных предсказаний / Общее число точек данных
  • Какие данные использовать?
    • Обучающие данные не отражают новые данные
Маркетинговая аналитика: прогнозирование оттока клиентов на Python

Обучающая и тестовая выборки

  • Обучите классификатор на обучающей выборке
  • Сделайте предсказания на тестовой выборке
Маркетинговая аналитика: прогнозирование оттока клиентов на Python

Обучающая и тестовая выборки в scikit-learn

from sklearn.model_selection import train_test_split

X_train, X_test, y_train, y_test = train_test_split(telco['data'], telco['target'], 
                                   test_size=0.2, random_state = 42)

from sklearn.svm import SVC

svc = SVC()

svc.fit(X_train, y_train)

svc.predict(X_test)
Маркетинговая аналитика: прогнозирование оттока клиентов на Python

Вычисление точности

svc.score(X_test, y_test)

0.857
  • Точность 85,7% — отличный результат для первой попытки!
Маркетинговая аналитика: прогнозирование оттока клиентов на Python

Улучшение модели

  • Переобучение: модель слишком точно подстраивается под обучающие данные
  • Недообучение: модель не улавливает закономерности в данных
  • Необходимо найти баланс между переобучением и недообучением
Маркетинговая аналитика: прогнозирование оттока клиентов на Python

Давайте потренируемся!

Маркетинговая аналитика: прогнозирование оттока клиентов на Python

Preparing Video For Download...