Avaliação e implementação de modelos

Modelagem de Risco de Crédito em Python

Michael Crabtree

Data Scientist, Ford Motor Company

Comparando relatórios de classificação

  • Gere os relatórios com classification_report() e compare

Relatório de classificação para regressão logística e árvore gradient boosted

Fórmula do F1 e do F1 macro

Modelagem de Risco de Crédito em Python

Análise de ROC e AUC

  • Modelos com melhor desempenho têm mais lift
  • Mais lift implica AUC maior

Exemplo de curva ROC com dois modelos

Modelagem de Risco de Crédito em Python

Calibração do modelo

  • Queremos que as probabilidades de default representem bem o nível de confiança do modelo
    • A probabilidade de default tem incerteza nas previsões
  • Uma amostra de empréstimos e suas PDs previstas deve ficar próxima do percentual de defaults nessa amostra
Amostra de empréstimos Média da PD prevista Percentual real de defaults na amostra Calibrado?
10 0.12 0.12 Sim
10 0.25 0.65 Não
1 http://datascienceassn.org/sites/default/files/Predicting%20good%20probabilities%20with%20supervised%20learning.pdf
Modelagem de Risco de Crédito em Python

Calculando a calibração

  • Mostra o percentual de defaults verdadeiros para cada probabilidade prevista
  • Basicamente um line plot dos resultados de calibration_curve()
from sklearn.calibration import calibration_curve
calibration_curve(y_test, probabilities_of_default, n_bins = 5)

# Fraction of positives
(array([0.09602649, 0.19521012, 0.62035996, 0.67361111]),
# Average probability
 array([0.09543535, 0.29196742, 0.46898465, 0.65512207]))
Modelagem de Risco de Crédito em Python

Plotando curvas de calibração

plt.plot(mean_predicted_value, fraction_of_positives, label="%s" % "Example Model")

Exemplo de curva de calibração

Modelagem de Risco de Crédito em Python

Checando curvas de calibração

  • Como exemplo, dois pontos selecionados (acima e abaixo da linha perfeita)

Curva de calibração com dois exemplos de previsões não calibradas

Modelagem de Risco de Crédito em Python

Interpretação da curva de calibração

Curva de calibração com exemplo acima

Modelagem de Risco de Crédito em Python

Interpretação da curva de calibração

Curva de calibração com exemplo abaixo

Modelagem de Risco de Crédito em Python

Vamos praticar!

Modelagem de Risco de Crédito em Python

Preparing Video For Download...