Modelevaluatie en implementatie

Kredietrisicomodellering in Python

Michael Crabtree

Data Scientist, Ford Motor Company

Classificatierapporten vergelijken

Maak de rapporten met classification_report() en vergelijk

Classificatierapport voor logistische regressie en gradient boosted tree

Formule voor F1-score en macro-gemiddelde F1-score

ROC- en AUC-analyse

Modellen met betere performance hebben meer lift
Meer lift betekent een hogere AUC-score

ROC-diagram met twee modellen

Modelcalibratie

We willen dat onze defaultkansen het vertrouwen van het model goed weergeven
- De defaultkans heeft onzekerheid in de voorspellingen
Een steekproef van leningen en hun voorspelde defaultkansen moet dicht bij het percentage defaults in die steekproef liggen

Steekproef leningen	Gem. voorspelde PD	Percentage echte defaults in steekproef	Gecalibreerd?
10	0.12	0.12	Ja
10	0.25	0.65	Nee

¹ http://datascienceassn.org/sites/default/files/Predicting%20good%20probabilities%20with%20supervised%20learning.pdf

Calibratie berekenen

Toont percentage echte defaults per voorspelde kans
Feitelijk een lijndiagram van de resultaten van calibration_curve()

from sklearn.calibration import calibration_curve
calibration_curve(y_test, probabilities_of_default, n_bins = 5)

# Fraction of positives
(array([0.09602649, 0.19521012, 0.62035996, 0.67361111]),
# Average probability
 array([0.09543535, 0.29196742, 0.46898465, 0.65512207]))

Calibratiecurves plotten

plt.plot(mean_predicted_value, fraction_of_positives, label="%s" % "Example Model")

Voorbeeld van calibratiecurve

Calibratiecurves controleren

Als voorbeeld: twee events gekozen (boven en onder de perfecte lijn)

Calibratiecurve met twee voorbeelden van niet-gecalibreerde voorspellingen

Calibratiecurve: interpretatie

Calibratiecurve met bovenstaand voorbeeld

Calibratiecurve: interpretatie

Calibratiecurve met onderstaand voorbeeld

Laten we oefenen!

Kredietrisicomodellering in Python