Outras métricas de modelo

Análise de Marketing: Prevendo Churn de Clientes em Python

Mark Peterson

Director of Data Science, Infoblox

Limiares de probabilidade

Cada previsão do seu classificador tem uma probabilidade associada
Limite de probabilidade padrão no scikit-learn: 50%

E se variarmos esse limite?

Parte 1 da curva ROC

Parte 2 da curva ROC

Parte 3 da curva ROC

Parte 4 da curva ROC

Parte 5 da curva ROC

Parte 6 da curva ROC

Parte 7 da curva ROC

Parte 8 da curva ROC

Gerando probabilidades no sklearn

logreg.predict_proba(X_test)[:,1]

array([[0.80188981, 0.19811019],
       [0.96484075, 0.03515925],
       [0.9182671 , 0.0817329 ],
       ...,

y_pred_prob = logreg.predict_proba(X_test)[:,1]

Curva ROC no sklearn

from sklearn.metrics import roc_curve

fpr, tpr, thresholds = roc_curve(y_test, y_pred_prob)

import matplotlib.pyplot as plt

plt.plot(fpr, tpr)

plt.xlabel("False Positive Rate")

plt.ylabel("True Positive Rate")

plt.plot([0, 1], [0, 1], "k--")

plt.show()

Área sob a curva

from sklearn.metrics import roc_auc_score

auc = roc_auc_score(y_test, y_pred)

Vamos praticar!

Análise de Marketing: Prevendo Churn de Clientes em Python