Metryki modelu

Marketing Analytics: Przewidywanie rezygnacji klientów w Pythonie

Mark Peterson

Director of Data Science, Infoblox

Niezrównoważone klasy

telco['Churn'].value_counts()

no     2850
yes     483
Name: Churn, dtype: int64

• Dokładność nie jest zbyt użyteczną metryką

Precyzja

Metryka	Wzór
Precyzja	Prawdziwe pozytywy / (Prawdziwe pozytywy + Fałszywe pozytywy)

 

• Model o wysokiej precyzji oznacza:
  • Mało fałszywych alarmów
  • Niewielu nierezygnujących klientów zostało sklasyfikowanych jako rezygnujący

Czułość (Recall)

Metryka	Wzór
Czułość/Recall	Prawdziwe pozytywy / (Prawdziwe pozytywy + Fałszywe negatywy)

 

• Model o wysokiej czułości poprawnie klasyfikuje większość rezygnujących klientów

Precyzja a czułość

Macierz pomyłek w scikit-learn

from sklearn.metrics import confusion_matrix

cm = confusion_matrix(y_test, y_pred)

Czas na ćwiczenia!

Marketing Analytics: Przewidywanie rezygnacji klientów w Pythonie