Évaluation et mise en œuvre du modèle

Modélisation du risque de crédit en Python

Michael Crabtree

Data Scientist, Ford Motor Company

Comparer des rapports de classification

  • Générez les rapports avec classification_report() et comparez

Rapport de classification pour régression logistique et arbre de gradient boosting

Formule du score F1 et F1 macro

Modélisation du risque de crédit en Python

Analyse ROC et AUC

  • Les meilleurs modèles ont plus de lift
  • Plus de lift implique une AUC plus élevée

Exemple de courbe ROC avec deux modèles

Modélisation du risque de crédit en Python

Calibration du modèle

  • Nous voulons que nos probabilités de défaut reflètent bien le niveau de confiance du modèle
    • La probabilité de défaut comporte une part d’incertitude
  • Un échantillon de prêts et leurs probabilités de défaut prédites doit être proche du pourcentage de défauts réels dans cet échantillon
Échantillon de prêts PD prédite moyenne Pourcentage réel de défauts Calibré ?
10 0.12 0.12 Oui
10 0.25 0.65 Non
1 http://datascienceassn.org/sites/default/files/Predicting%20good%20probabilities%20with%20supervised%20learning.pdf
Modélisation du risque de crédit en Python

Calculer la calibration

  • Affiche le pourcentage de vrais défauts pour chaque probabilité prédite
  • Essentiellement un tracé des résultats de calibration_curve()
from sklearn.calibration import calibration_curve
calibration_curve(y_test, probabilities_of_default, n_bins = 5)

# Fraction of positives
(array([0.09602649, 0.19521012, 0.62035996, 0.67361111]),
# Average probability
 array([0.09543535, 0.29196742, 0.46898465, 0.65512207]))
Modélisation du risque de crédit en Python

Tracer des courbes de calibration

plt.plot(mean_predicted_value, fraction_of_positives, label="%s" % "Example Model")

Exemple de courbe de calibration

Modélisation du risque de crédit en Python

Vérifier les courbes de calibration

  • Exemple : deux points choisis (au-dessus et au-dessous de la ligne parfaite)

Courbe de calibration avec deux exemples de prédictions non calibrées

Modélisation du risque de crédit en Python

Interprétation d’une courbe de calibration

Courbe de calibration avec exemple au-dessus

Modélisation du risque de crédit en Python

Interprétation d’une courbe de calibration

Courbe de calibration avec exemple au-dessous

Modélisation du risque de crédit en Python

Passons à la pratique !

Modélisation du risque de crédit en Python

Preparing Video For Download...