Metriky modelu

Marketing Analytics: Predicting Customer Churn in Python

Mark Peterson

Director of Data Science, Infoblox

Nevyvážené třídy

telco['Churn'].value_counts()

no     2850
yes     483
Name: Churn, dtype: int64
  • Přesnost není příliš užitečná metrika
Marketing Analytics: Predicting Customer Churn in Python

Matice záměn – část 1

Marketing Analytics: Predicting Customer Churn in Python

Matice záměn – část 2

Marketing Analytics: Predicting Customer Churn in Python

Matice záměn – část 3

Marketing Analytics: Predicting Customer Churn in Python

Matice záměn – část 4

Marketing Analytics: Predicting Customer Churn in Python

Matice záměn – část 5

Marketing Analytics: Predicting Customer Churn in Python

Matice záměn – část 6

Marketing Analytics: Predicting Customer Churn in Python

Matice záměn – část 7

Marketing Analytics: Predicting Customer Churn in Python

Matice záměn – část 8

Marketing Analytics: Predicting Customer Churn in Python

Matice záměn – část 9

Marketing Analytics: Predicting Customer Churn in Python

Matice záměn – část 10

Marketing Analytics: Predicting Customer Churn in Python

Matice záměn – část 11

Marketing Analytics: Predicting Customer Churn in Python

Matice záměn – část 12

Marketing Analytics: Predicting Customer Churn in Python

Přesnost (Precision)

Metrika Vzorec
Přesnost (Precision) Pravé pozitivní / (Pravé pozitivní + Falešné pozitivní)

 

  • Model s vysokou přesností znamená:
    • Málo falešných poplachů
    • Jen malá část nechurnujících byla označena jako churnující
Marketing Analytics: Predicting Customer Churn in Python

Úplnost (Recall)

Metrika Vzorec
Úplnost (Recall/Sensitivity) Pravé pozitivní / (Pravé pozitivní + Falešné negativní)

 

  • Model s vysokou úplností správně identifikuje většinu churnujících zákazníků
Marketing Analytics: Predicting Customer Churn in Python

Přesnost vs. úplnost

Marketing Analytics: Predicting Customer Churn in Python

Matice záměn v scikit-learn

from sklearn.metrics import confusion_matrix

cm = confusion_matrix(y_test, y_pred)
Marketing Analytics: Predicting Customer Churn in Python

Pojďme si to procvičit!

Marketing Analytics: Predicting Customer Churn in Python

Preparing Video For Download...