Kinerja model kredit

Pemodelan Risiko Kredit dengan Python

Michael Crabtree

Data Scientist, Ford Motor Company

Skor akurasi model

  • Hitung akurasi

Rumus akurasi

  • Gunakan metode .score() dari scikit-learn
# Periksa akurasi pada data uji
clf_logistic1.score(X_test,y_test)

0.81
  • 81% nilai loan_status diprediksi dengan benar
Pemodelan Risiko Kredit dengan Python

Grafik kurva ROC

  • Kurva Receiver Operating Characteristic (ROC)
    • Memetakan true positive rate (sensitivitas) vs false positive rate (fall-out)
fallout, sensitivity, thresholds = roc_curve(y_test, prob_default)
plt.plot(fallout, sensitivity, color = 'darkorange')

Contoh grafik ROC

Pemodelan Risiko Kredit dengan Python

Menganalisis grafik ROC

  • Area Under Curve (AUC): area antara kurva dan prediksi acak

Contoh grafik ROC dengan anotasi lift dan AUC

Pemodelan Risiko Kredit dengan Python

Ambang default

  • Ambang (threshold): titik probabilitas dianggap default

Diagram ambang probabilitas

Pemodelan Risiko Kredit dengan Python

Menetapkan ambang

  • Ubah label pinjaman berdasarkan ambang 0.5
preds = clf_logistic.predict_proba(X_test)
preds_df = pd.DataFrame(preds[:,1], columns = ['prob_default'])
preds_df['loan_status'] = preds_df['prob_default'].apply(lambda x: 1 if x > 0.5 else 0)

Contoh data dengan probabilitas dan status pinjaman

Pemodelan Risiko Kredit dengan Python

Laporan klasifikasi kredit

  • classification_report() di scikit-learn
from sklearn.metrics import classification_report
classification_report(y_test, preds_df['loan_status'], target_names=target_names)

Contoh classification report

Pemodelan Risiko Kredit dengan Python

Memilih metrik klasifikasi

  • Pilih dan simpan komponen tertentu dari classification_report()
  • Gunakan fungsi precision_recall_fscore_support() dari scikit-learn

Contoh classification report dengan recall bawaan

from sklearn.metrics import precision_recall_fscore_support
precision_recall_fscore_support(y_test,preds_df['loan_status'])[1][1]
Pemodelan Risiko Kredit dengan Python

Ayo berlatih!

Pemodelan Risiko Kredit dengan Python

Preparing Video For Download...