Valutazione e implementazione del modello

Credit Risk Modeling in Python

Michael Crabtree

Data Scientist, Ford Motor Company

Confrontare i report di classificazione

Crea i report con classification_report() e confrontali

Report di classificazione per regressione logistica e gradient boosted tree

Formula dell'F1 e F1 macro media

Analisi ROC e AUC

I modelli con prestazioni migliori hanno più lift
Più lift significa AUC più alta

Esempio di curva ROC con due modelli

Calibrazione del modello

Vogliamo che le probabilità di default riflettano bene il livello di confidenza del modello
- La probabilità di default ha un certo grado di incertezza nelle previsioni
Un campione di prestiti e le loro PD previste dovrebbero essere vicini alla percentuale di default in quel campione

Campione di prestiti	PD media prevista	Percentuale di default reali nel campione	Calibrato?
10	0.12	0.12	Sì
10	0.25	0.65	No

¹ http://datascienceassn.org/sites/default/files/Predicting%20good%20probabilities%20with%20supervised%20learning.pdf

Calcolare la calibrazione

Mostra la percentuale di veri default per ogni probabilità prevista
In pratica, è un line plot dei risultati di calibration_curve()

from sklearn.calibration import calibration_curve
calibration_curve(y_test, probabilities_of_default, n_bins = 5)

# Fraction of positives
(array([0.09602649, 0.19521012, 0.62035996, 0.67361111]),
# Average probability
 array([0.09543535, 0.29196742, 0.46898465, 0.65512207]))

Tracciare curve di calibrazione

plt.plot(mean_predicted_value, fraction_of_positives, label="%s" % "Example Model")

Esempio di curva di calibrazione

Verifica delle curve di calibrazione

Come esempio, due eventi selezionati (sopra e sotto la linea perfetta)

Curva di calibrazione con due esempi di previsioni non calibrate

Interpretazione della curva di calibrazione

Curva di calibrazione con esempio sopra

Interpretazione della curva di calibrazione

Curva di calibrazione con esempio sotto

Ayo berlatih!

Credit Risk Modeling in Python