Evaluasi dan implementasi model

Pemodelan Risiko Kredit dengan Python

Michael Crabtree

Data Scientist, Ford Motor Company

Membandingkan laporan klasifikasi

Buat laporan dengan classification_report() dan bandingkan

Laporan klasifikasi untuk regresi logistik dan gradient boosted tree

Rumus skor F1 dan F1 rata-rata makro

Analisis ROC dan AUC

Model dengan performa lebih baik memiliki lift lebih tinggi
Lift lebih tinggi berarti skor AUC lebih besar

Contoh kurva ROC dengan dua model

Kalibrasi model

Kita ingin probabilitas gagal bayar mencerminkan tingkat keyakinan model secara akurat
- Probabilitas gagal bayar memiliki tingkat ketidakpastian dalam prediksinya
Sampel pinjaman dan probabilitas gagal bayarnya sebaiknya mendekati persentase gagal bayar aktual di sampel tersebut

Sampel pinjaman	Rata-rata PD terprediksi	Persentase gagal bayar aktual	Terkalibrasi?
10	0.12	0.12	Ya
10	0.25	0.65	Tidak

¹ http://datascienceassn.org/sites/default/files/Predicting%20good%20probabilities%20with%20supervised%20learning.pdf

Menghitung kalibrasi

Menunjukkan persentase gagal bayar nyata untuk tiap probabilitas prediksi
Pada dasarnya adalah plot garis dari hasil calibration_curve()

from sklearn.calibration import calibration_curve
calibration_curve(y_test, probabilities_of_default, n_bins = 5)

# Fraction of positives
(array([0.09602649, 0.19521012, 0.62035996, 0.67361111]),
# Average probability
 array([0.09543535, 0.29196742, 0.46898465, 0.65512207]))

Memplot kurva kalibrasi

plt.plot(mean_predicted_value, fraction_of_positives, label="%s" % "Example Model")

Contoh kurva kalibrasi

Memeriksa kurva kalibrasi

Contoh: dua kejadian dipilih (di atas dan di bawah garis sempurna)

Kurva kalibrasi dengan dua contoh prediksi yang tidak terkalibrasi

Interpretasi kurva kalibrasi

Kurva kalibrasi dengan contoh di atas

Interpretasi kurva kalibrasi

Kurva kalibrasi dengan contoh di bawah

Ayo berlatih!

Pemodelan Risiko Kredit dengan Python