Hodnocení a implementace modelu

Credit Risk Modeling in Python

Michael Crabtree

Data Scientist, Ford Motor Company

Porovnání klasifikačních reportů

Vytvořte reporty pomocí classification_report() a porovnejte je

Klasifikační report pro logistickou regresi a gradient boosted tree

Vzorec pro F1 skóre a makro průměrné F1 skóre

Analýza ROC a AUC

Modely s lepším výkonem mají vyšší lift
Vyšší lift znamená vyšší hodnotu AUC

Příklad ROC grafu se dvěma modely

Kalibrace modelu

Pravděpodobnosti selhání by měly přesně odrážet míru jistoty modelu
- Předpovědi pravděpodobnosti selhání obsahují určitou míru nejistoty
Průměrná predikovaná pravděpodobnost selhání pro vzorek úvěrů by měla odpovídat skutečnému podílu selhání

Vzorek úvěrů	Průměrná predikovaná PD	Skutečný podíl selhání	Zkalibrováno?
10	0.12	0.12	Ano
10	0.25	0.65	Ne

¹ http://datascienceassn.org/sites/default/files/Predicting%20good%20probabilities%20with%20supervised%20learning.pdf

Výpočet kalibrace

Zobrazuje podíl skutečných selhání pro každou predikovanou pravděpodobnost
Jedná se v podstatě o spojnicový graf výsledků calibration_curve()

from sklearn.calibration import calibration_curve
calibration_curve(y_test, probabilities_of_default, n_bins = 5)

# Fraction of positives
(array([0.09602649, 0.19521012, 0.62035996, 0.67361111]),
# Average probability
 array([0.09543535, 0.29196742, 0.46898465, 0.65512207]))

Vykreslení kalibračních křivek

plt.plot(mean_predicted_value, fraction_of_positives, label="%s" % "Example Model")

Příklad kalibrační křivky

Kontrola kalibračních křivek

Jako příklad jsou vybrány dvě události (nad a pod ideální přímkou)

Kalibrační křivka se dvěma příklady nezkalibrovaných předpovědí

Interpretace kalibrační křivky

Kalibrační křivka s příkladem nad přímkou

Interpretace kalibrační křivky

Kalibrační křivka s příkladem pod přímkou

Pojďme procvičovat!

Credit Risk Modeling in Python