Modellbewertung und -umsetzung

Kreditrisikomodellierung in Python

Michael Crabtree

Data Scientist, Ford Motor Company

Klassifikationsberichte vergleichen

Erstelle Berichte mit classification_report() und vergleiche

Klassifikationsbericht für logistische Regression und Gradient Boosted Tree

Formel für F1-Score und makro-mittleren F1-Score

ROC- und AUC-Analyse

Modelle mit besserer Leistung haben mehr Lift
Mehr Lift bedeutet höhere AUC

ROC-Diagramm mit zwei Modellen

Modellkalibrierung

Unsere Ausfallwahrscheinlichkeiten sollen die Modellzuversicht korrekt widerspiegeln
- Die Ausfallwahrscheinlichkeit hat eine gewisse Unsicherheit in ihren Prognosen
Eine Stichprobe von Krediten und ihren vorhergesagten Ausfallwahrscheinlichkeiten sollte nahe am tatsächlichen Ausfallanteil der Stichprobe liegen

Kreditstichprobe	Durchschnittliche vorhergesagte PD	Tatsächlicher Ausfallanteil der Stichprobe	Kalibriert?
10	0.12	0.12	Ja
10	0.25	0.65	Nein

¹ http://datascienceassn.org/sites/default/files/Predicting%20good%20probabilities%20with%20supervised%20learning.pdf

Kalibrierung berechnen

Zeigt den Anteil wahrer Ausfälle je vorhergesagter Wahrscheinlichkeit
Im Grunde ein Liniendiagramm der Ergebnisse von calibration_curve()

from sklearn.calibration import calibration_curve
calibration_curve(y_test, probabilities_of_default, n_bins = 5)

# Fraction of positives
(array([0.09602649, 0.19521012, 0.62035996, 0.67361111]),
# Average probability
 array([0.09543535, 0.29196742, 0.46898465, 0.65512207]))

Kalibrierungskurven plotten

plt.plot(mean_predicted_value, fraction_of_positives, label="%s" % "Example Model")

Beispiel für Kalibrierungskurve

Kalibrierungskurven prüfen

Beispiel: zwei Punkte gewählt (über und unter der perfekten Linie)

Kalibrierungskurve mit zwei Beispielen für unkalibrierte Vorhersagen

Kalibrierungskurve: Interpretation

Kalibrierungskurve mit obigem Beispiel

Kalibrierungskurve: Interpretation

Kalibrierungskurve mit unterem Beispiel

Lass uns üben!

Kreditrisikomodellierung in Python