Hiệu suất mô hình tín dụng

Mô hình hóa Rủi ro Tín dụng bằng Python

Michael Crabtree

Data Scientist, Ford Motor Company

Chấm điểm độ chính xác mô hình

  • Tính độ chính xác (accuracy)

Công thức độ chính xác

  • Dùng phương thức .score() của scikit-learn
# Kiểm tra độ chính xác trên dữ liệu kiểm tra
clf_logistic1.score(X_test,y_test)

0.81
  • Dự đoán đúng 81% giá trị loan_status
Mô hình hóa Rủi ro Tín dụng bằng Python

Biểu đồ đường cong ROC

  • Đường cong ROC (Receiver Operating Characteristic)
    • Vẽ tỷ lệ dương tính thật (sensitivity) so với tỷ lệ dương tính giả (fall-out)
fallout, sensitivity, thresholds = roc_curve(y_test, prob_default)
plt.plot(fallout, sensitivity, color = 'darkorange')

Ví dụ biểu đồ ROC

Mô hình hóa Rủi ro Tín dụng bằng Python

Phân tích biểu đồ ROC

  • Diện tích dưới đường cong (AUC): diện tích giữa đường cong và dự đoán ngẫu nhiên

Ví dụ biểu đồ ROC có chú thích lift và AUC

Mô hình hóa Rủi ro Tín dụng bằng Python

Ngưỡng vỡ nợ

  • Ngưỡng: tại mức nào một xác suất được coi là vỡ nợ

Sơ đồ ngưỡng xác suất

Mô hình hóa Rủi ro Tín dụng bằng Python

Thiết lập ngưỡng

  • Gán nhãn lại khoản vay theo ngưỡng 0.5
preds = clf_logistic.predict_proba(X_test)
preds_df = pd.DataFrame(preds[:,1], columns = ['prob_default'])
preds_df['loan_status'] = preds_df['prob_default'].apply(lambda x: 1 if x > 0.5 else 0)

Mẫu dữ liệu với xác suất và trạng thái khoản vay

Mô hình hóa Rủi ro Tín dụng bằng Python

Báo cáo phân loại tín dụng

  • classification_report() trong scikit-learn
from sklearn.metrics import classification_report
classification_report(y_test, preds_df['loan_status'], target_names=target_names)

Ví dụ báo cáo phân loại

Mô hình hóa Rủi ro Tín dụng bằng Python

Chọn chỉ số phân loại

  • Chọn và lưu các thành phần cụ thể từ classification_report()
  • Dùng hàm precision_recall_fscore_support() của scikit-learn

Ví dụ báo cáo phân loại với recall mặc định

from sklearn.metrics import precision_recall_fscore_support
precision_recall_fscore_support(y_test,preds_df['loan_status'])[1][1]
Mô hình hóa Rủi ro Tín dụng bằng Python

Ayo berlatih!

Mô hình hóa Rủi ro Tín dụng bằng Python

Preparing Video For Download...