Evaluarea și implementarea modelului

Modelarea Riscului de Credit în Python

Michael Crabtree

Data Scientist, Ford Motor Company

Compararea rapoartelor de clasificare

  • Generați rapoartele cu classification_report() și comparați-le

Raport de clasificare pentru regresia logistică și arborele gradient boosted

Formula pentru scorul F1 și media macro F1

Modelarea Riscului de Credit în Python

Analiza ROC și AUC

  • Modelele cu performanță mai bună vor avea un lift mai mare
  • Un lift mai mare înseamnă un scor AUC mai ridicat

Exemplu de grafic ROC cu două modele

Modelarea Riscului de Credit în Python

Calibrarea modelului

  • Probabilitățile de nerambursare trebuie să reflecte cu acuratețe nivelul de încredere al modelului
    • Probabilitatea de nerambursare conține un grad de incertitudine în predicții
  • Probabilitățile medii prezise pentru un eșantion de credite ar trebui să fie apropiate de procentul real de nerambursări din acel eșantion
Eșantion de credite PD medie prezisă Procentul real de nerambursări Calibrat?
10 0.12 0.12 Da
10 0.25 0.65 Nu
1 http://datascienceassn.org/sites/default/files/Predicting%20good%20probabilities%20with%20supervised%20learning.pdf
Modelarea Riscului de Credit în Python

Calcularea calibrării

  • Afișează procentul nerambursărilor reale pentru fiecare probabilitate prezisă
  • Reprezintă grafic rezultatele funcției calibration_curve()
from sklearn.calibration import calibration_curve
calibration_curve(y_test, probabilities_of_default, n_bins = 5)

# Fraction of positives
(array([0.09602649, 0.19521012, 0.62035996, 0.67361111]),
# Average probability
 array([0.09543535, 0.29196742, 0.46898465, 0.65512207]))
Modelarea Riscului de Credit în Python

Reprezentarea curbelor de calibrare

plt.plot(mean_predicted_value, fraction_of_positives, label="%s" % "Example Model")

Exemplu de curbă de calibrare

Modelarea Riscului de Credit în Python

Verificarea curbelor de calibrare

  • Exemplu: două evenimente selectate (deasupra și sub linia perfectă)

Curbă de calibrare cu două exemple de predicții necalibrate

Modelarea Riscului de Credit în Python

Interpretarea curbei de calibrare

Curbă de calibrare cu exemplul de deasupra

Modelarea Riscului de Credit în Python

Interpretarea curbei de calibrare

Curbă de calibrare cu exemplul de dedesubt

Modelarea Riscului de Credit în Python

Să exersăm!

Modelarea Riscului de Credit în Python

Preparing Video For Download...