Metrici pentru modele

Marketing Analytics: Predicția abandonului clienților în Python

Mark Peterson

Director of Data Science, Infoblox

Clase dezechilibrate

telco['Churn'].value_counts()

no     2850
yes     483
Name: Churn, dtype: int64

• Acuratețea nu este o metrică foarte utilă

Precizie

Metrică	Formulă
Precizie	True Positives / (True Positives + False Positives)

 

• Un model cu precizie ridicată indică:
  • Puține fals pozitive („alarme false")
  • Puțini non-abonatori renunțători clasificați greșit

Rată de regăsire

Metrică	Formulă
Rată de regăsire/Sensibilitate	True Positives / (True Positives + False Negatives)

 

• Un model cu rată de regăsire ridicată clasifică corect majoritatea abonatorilor renunțători

Precizie vs. rată de regăsire

Matricea de confuzie în scikit-learn

from sklearn.metrics import confusion_matrix

cm = confusion_matrix(y_test, y_pred)

Să exersăm!

Marketing Analytics: Predicția abandonului clienților în Python