Modellmetriken

Marketing Analytics: Kundenabwanderung in Python vorhersagen

Mark Peterson

Director of Data Science, Infoblox

Unausgewogene Klassen

telco['Churn'].value_counts()

no     2850
yes     483
Name: Churn, dtype: int64

• Accuracy ist hier wenig aussagekräftig

Precision

Metric	Formula
Precision	True Positives / (True Positives + False Positives)

 

• Ein Modell mit hoher Precision bedeutet:
  • Wenige False Positives („Fehlalarme")
  • Kaum Nicht-Churner als Churner klassifiziert

Recall

Metric	Formula
Recall/Sensitivity	True Positives / (True Positives + False Negatives)

 

• Ein Modell mit hohem Recall klassifiziert die meisten Churner korrekt

Precision vs. Recall

Konfusionsmatrix in scikit-learn

from sklearn.metrics import confusion_matrix

cm = confusion_matrix(y_test, y_pred)

Lass uns üben!

Marketing Analytics: Kundenabwanderung in Python vorhersagen