Évaluation et déploiement du modèle

Modélisation du risque de crédit en Python

Michael Crabtree

Data Scientist, Ford Motor Company

Comparer les rapports de classification

  • Générez les rapports avec classification_report() et comparez

Rapport de classification pour la régression logistique et l'arbre à renforcement de gradient

Formule du score F1 et de la moyenne macro du F1

Modélisation du risque de crédit en Python

Analyse ROC et AUC

  • Les modèles les plus performants offrent plus de lift
  • Plus de lift signifie un score AUC plus élevé

Exemple de courbe ROC avec deux modèles

Modélisation du risque de crédit en Python

Calibration du modèle

  • On veut que nos probabilités de défaut reflètent bien le niveau de confiance du modèle
    • La probabilité de défaut comporte une part d'incertitude dans ses prédictions
  • Un échantillon de prêts et leurs probabilités de défaut prévues devrait être proche du pourcentage de défauts réels dans cet échantillon
Échantillon de prêts PD moyenne prévue Pourcentage réel de défauts dans l'échantillon Calibré ?
10 0.12 0.12 Oui
10 0.25 0.65 Non
1 http://datascienceassn.org/sites/default/files/Predicting%20good%20probabilities%20with%20supervised%20learning.pdf
Modélisation du risque de crédit en Python

Calculer la calibration

  • Affiche le pourcentage de vrais défauts pour chaque probabilité prévue
  • Essentiellement un tracé en ligne des résultats de calibration_curve()
from sklearn.calibration import calibration_curve
calibration_curve(y_test, probabilities_of_default, n_bins = 5)

# Fraction of positives
(array([0.09602649, 0.19521012, 0.62035996, 0.67361111]),
# Average probability
 array([0.09543535, 0.29196742, 0.46898465, 0.65512207]))
Modélisation du risque de crédit en Python

Tracer des courbes de calibration

plt.plot(mean_predicted_value, fraction_of_positives, label="%s" % "Example Model")

Exemple de courbe de calibration

Modélisation du risque de crédit en Python

Vérifier les courbes de calibration

  • Exemple : deux événements sélectionnés (au-dessus et au-dessous de la ligne parfaite)

Courbe de calibration avec deux exemples de prédictions non calibrées

Modélisation du risque de crédit en Python

Interprétation d'une courbe de calibration

Courbe de calibration avec l'exemple au-dessus

Modélisation du risque de crédit en Python

Interprétation d'une courbe de calibration

Courbe de calibration avec l'exemple au-dessous

Modélisation du risque de crédit en Python

Passons à la pratique !

Modélisation du risque de crédit en Python

Preparing Video For Download...