Метрики модели

Маркетинговая аналитика: прогнозирование оттока клиентов на Python

Mark Peterson

Director of Data Science, Infoblox

Несбалансированные классы

telco['Churn'].value_counts()

no     2850
yes     483
Name: Churn, dtype: int64

• Точность — не самая подходящая метрика

Точность (Precision)

Метрика	Формула
Точность (Precision)	Истинно положительные / (Истинно положительные + Ложно положительные)

 

• Высокое значение precision означает:
  • Мало ложных срабатываний («ложная тревога»)
  • Мало нечёрных клиентов отнесено к уходящим

Полнота (Recall)

Метрика	Формула
Полнота (Recall/Sensitivity)	Истинно положительные / (Истинно положительные + Ложно отрицательные)

 

• Высокое значение recall означает, что модель правильно классифицировала большинство уходящих клиентов

Точность (Precision) и полнота (Recall)

Матрица ошибок в scikit-learn

from sklearn.metrics import confusion_matrix

cm = confusion_matrix(y_test, y_pred)

Давайте потренируемся!

Маркетинговая аналитика: прогнозирование оттока клиентов на Python