Modellutvärdering och implementering

Kreditriskmodellering i Python

Michael Crabtree

Data Scientist, Ford Motor Company

Jämföra klassificeringsrapporter

Skapa rapporterna med classification_report() och jämför

Klassificeringsrapport för logistisk regression och gradientförstärkt träd

Formel för F1-poäng och makromedelvärde för F1-poäng

ROC- och AUC-analys

Modeller med bättre prestanda ger mer lyft
Mer lyft innebär ett högre AUC-värde

Exempel på ROC-kurva med två modeller

Modellkalibrering

Vi vill att sannolikheterna för fallissemang ska återspegla modellens konfidensnivå
- Sannolikheten för fallissemang innehåller en viss osäkerhet i sina prediktioner
Ett urval av lån och deras predikterade sannolikheter för fallissemang bör ligga nära andelen faktiska fallissemang i urvalet

Urval av lån	Genomsnittlig predikterad PD	Urvalets andel faktiska fallissemang	Kalibrerad?
10	0.12	0.12	Ja
10	0.25	0.65	Nej

¹ http://datascienceassn.org/sites/default/files/Predicting%20good%20probabilities%20with%20supervised%20learning.pdf

Beräkna kalibrering

Visar andelen faktiska fallissemang för varje predikterad sannolikhet
I praktiken ett linjediagram över resultaten från calibration_curve()

from sklearn.calibration import calibration_curve
calibration_curve(y_test, probabilities_of_default, n_bins = 5)

# Fraction of positives
(array([0.09602649, 0.19521012, 0.62035996, 0.67361111]),
# Average probability
 array([0.09543535, 0.29196742, 0.46898465, 0.65512207]))

Rita kalibreringskurvor

plt.plot(mean_predicted_value, fraction_of_positives, label="%s" % "Example Model")

Exempel på kalibreringskurva

Granska kalibreringskurvor

Som exempel har två händelser valts ut (ovanför och nedanför den perfekta linjen)

Kalibreringskurva med två exempel på okalibrerade prediktioner

Tolka kalibreringskurvan

Kalibreringskurva med exempel ovanför linjen

Tolka kalibreringskurvan

Kalibreringskurva med exempel nedanför linjen

Nu kör vi en övning!

Kreditriskmodellering i Python