Kredi modeli performansı

Python ile Kredi Riski Modellemesi

Michael Crabtree

Data Scientist, Ford Motor Company

Model doğruluk puanlama

Doğruluğu (accuracy) hesaplayın

Doğruluk formülü

scikit-learn .score() yöntemini kullanın

# Test verisine karşı doğruluğu kontrol edin
clf_logistic1.score(X_test,y_test)

0.81

loan_status değerlerinin %81'i doğru tahmin edildi

ROC eğrisi grafikleri

Alıcı İşletim Özelliği (ROC) eğrisi
- Doğru pozitif oranını (duyarlılık) yalancı pozitif oranına (fall-out) karşı çizer

fallout, sensitivity, thresholds = roc_curve(y_test, prob_default)
plt.plot(fallout, sensitivity, color = 'darkorange')

Örnek ROC grafiği

ROC grafikleri analizleri

Eğri Altındaki Alan (AUC): eğri ile rastgele tahmin arasındaki alan

Kaldıraç ve AUC açıklamalı ROC grafiği örneği

Temerrüt eşikleri

Eşik: bir olasılığın temerrüt sayılması noktası

Olasılık eşiği diyagramı

Eşiği ayarlama

Kredileri 0.5 eşiğine göre yeniden etiketleyin

preds = clf_logistic.predict_proba(X_test)
preds_df = pd.DataFrame(preds[:,1], columns = ['prob_default'])
preds_df['loan_status'] = preds_df['prob_default'].apply(lambda x: 1 if x > 0.5 else 0)

Olasılıklar ve kredi durumu içeren veri örneği

Kredi sınıflandırma raporları

scikit-learn içinde classification_report()

from sklearn.metrics import classification_report
classification_report(y_test, preds_df['loan_status'], target_names=target_names)

Örnek sınıflandırma raporu

Sınıflandırma metriklerini seçme

classification_report() içinden belirli bileşenleri seçip saklayın
scikit-learn'den precision_recall_fscore_support() işlevini kullanın

Varsayılan duyarlılıkla örnek sınıflandırma raporu

from sklearn.metrics import precision_recall_fscore_support
precision_recall_fscore_support(y_test,preds_df['loan_status'])[1][1]

Haydi pratik yapalım!

Python ile Kredi Riski Modellemesi