Métricas do modelo

Análise de Marketing: Prevendo Churn de Clientes em Python

Mark Peterson

Director of Data Science, Infoblox

Classes desbalanceadas

telco['Churn'].value_counts()

no     2850
yes     483
Name: Churn, dtype: int64

• A acurácia não é uma métrica muito útil

Precisão

Métrica	Fórmula
Precisão	True Positives / (True Positives + False Positives)

 

• Um modelo com alta precisão indica:
  • Poucos falsos positivos ("falsos alarmes")
  • Poucos não-churners classificados como churners

Recall

Métrica	Fórmula
Recall/Sensibilidade	True Positives / (True Positives + False Negatives)

 

• Um modelo com alto recall indica que classificou corretamente a maioria dos churners

Precisão vs. Recall

Matriz de confusão no scikit-learn

from sklearn.metrics import confusion_matrix

cm = confusion_matrix(y_test, y_pred)

Vamos praticar!

Análise de Marketing: Prevendo Churn de Clientes em Python