Evaluación e implementación del modelo

Modelado del riesgo crediticio en Python

Michael Crabtree

Data Scientist, Ford Motor Company

Comparar informes de clasificación

Crea los informes con classification_report() y compáralos

Informe de clasificación para regresión logística y árbol de gradiente reforzado

Fórmula del F1 y F1 macro promedio

Análisis ROC y AUC

Los modelos con mejor desempeño tienen más lift
Más lift implica mayor AUC

Ejemplo de curva ROC con dos modelos

Calibración del modelo

Queremos que las probabilidades de impago reflejen bien el nivel de confianza del modelo
- La probabilidad de impago tiene cierta incertidumbre en sus predicciones
Una muestra de préstamos y sus probabilidades de impago previstas debe acercarse al porcentaje de impagos reales en esa muestra

Muestra de préstamos	PD promedio prevista	Porcentaje real de impagos en la muestra	¿Calibrado?
10	0.12	0.12	Sí
10	0.25	0.65	No

¹ http://datascienceassn.org/sites/default/files/Predicting%20good%20probabilities%20with%20supervised%20learning.pdf

Calcular la calibración

Muestra el porcentaje de impagos reales para cada probabilidad prevista
Es básicamente un gráfico de líneas de calibration_curve()

from sklearn.calibration import calibration_curve
calibration_curve(y_test, probabilities_of_default, n_bins = 5)

# Fraction of positives
(array([0.09602649, 0.19521012, 0.62035996, 0.67361111]),
# Average probability
 array([0.09543535, 0.29196742, 0.46898465, 0.65512207]))

Trazar curvas de calibración

plt.plot(mean_predicted_value, fraction_of_positives, label="%s" % "Example Model")

Ejemplo de curva de calibración

Revisar curvas de calibración

Como ejemplo, dos eventos seleccionados (encima y debajo de la línea perfecta)

Curva de calibración con dos ejemplos de predicciones no calibradas

Interpretación de la curva de calibración

Curva de calibración con ejemplo superior

Interpretación de la curva de calibración

Curva de calibración con ejemplo inferior

¡Vamos a practicar!

Modelado del riesgo crediticio en Python