Model değerlendirme ve uygulama

Python ile Kredi Riski Modellemesi

Michael Crabtree

Data Scientist, Ford Motor Company

Sınıflandırma raporlarını karşılaştırma

classification_report() ile raporları oluşturun ve karşılaştırın

Lojistik regresyon ve gradyan artırmalı ağaç için sınıflandırma raporu

F1 skoru ve makro ortalama F1 skoru formülü

ROC ve AUC analizi

Daha iyi performanslı modeller daha fazla lift sağlar
Daha fazla lift, AUC skorunun daha yüksek olduğu anlamına gelir

İki modelle ROC grafiği örneği

Model kalibrasyonu

Temerrüt olasılıklarının, modelin güven düzeyini doğru yansıtmasını isteriz
- Temerrüt olasılığı tahminlerinde bir belirsizlik payı vardır
Bir kredi örneklemi için tahmin edilen temerrüt olasılıklarının ortalaması, o örneklemdeki gerçek temerrüt yüzdesine yakın olmalıdır

Kredi örneklemi	Ortalama tahmini TO	Örneklemdeki gerçek temerrüt yüzdesi	Kalibre mi?
10	0.12	0.12	Evet
10	0.25	0.65	Hayır

¹ http://datascienceassn.org/sites/default/files/Predicting%20good%20probabilities%20with%20supervised%20learning.pdf

Kalibrasyonun hesaplanması

Her tahmini olasılık için gerçek temerrüt yüzdesini gösterir
Özünde calibration_curve() sonuçlarının çizgi grafiğidir

from sklearn.calibration import calibration_curve
calibration_curve(y_test, probabilities_of_default, n_bins = 5)

# Olumlu oranı
(array([0.09602649, 0.19521012, 0.62035996, 0.67361111]),
# Ortalama olasılık
 array([0.09543535, 0.29196742, 0.46898465, 0.65512207]))

Kalibrasyon eğrilerinin çizimi

plt.plot(mean_predicted_value, fraction_of_positives, label="%s" % "Example Model")

Kalibrasyon eğrisi örneği

Kalibrasyon eğrilerini kontrol etme

Örnek olarak, iki olay seçildi (mükemmel doğrunun üstü ve altı)

Kalibre edilmemiş tahminlere iki örnek içeren kalibrasyon eğrisi

Kalibrasyon eğrisi yorumu

Üstteki örnekle kalibrasyon eğrisi

Kalibrasyon eğrisi yorumu

Alttaki örnekle kalibrasyon eğrisi

Haydi pratik yapalım!

Python ile Kredi Riski Modellemesi