Đánh giá và triển khai mô hình

Mô hình hóa Rủi ro Tín dụng bằng Python

Michael Crabtree

Data Scientist, Ford Motor Company

So sánh báo cáo phân loại

  • Tạo báo cáo với classification_report() và so sánh

Báo cáo phân loại cho hồi quy logistic và cây tăng cường gradient

Công thức F1 và F1 macro trung bình

Mô hình hóa Rủi ro Tín dụng bằng Python

Phân tích ROC và AUC

  • Mô hình hiệu quả hơn sẽ có lift cao hơn
  • Lift cao hơn đồng nghĩa AUC lớn hơn

Ví dụ biểu đồ ROC với hai mô hình

Mô hình hóa Rủi ro Tín dụng bằng Python

Hiệu chỉnh mô hình

  • Ta muốn xác suất vỡ nợ phản ánh chính xác mức độ tin cậy của mô hình
    • Xác suất vỡ nợ có mức độ bất định trong dự đoán
  • Mẫu khoản vay và xác suất vỡ nợ dự đoán nên gần với tỷ lệ vỡ nợ thực tế trong mẫu đó
Mẫu khoản vay PD dự đoán trung bình Tỷ lệ vỡ nợ thực tế trong mẫu Đã hiệu chỉnh?
10 0.12 0.12 Có
10 0.25 0.65 Không
1 http://datascienceassn.org/sites/default/files/Predicting%20good%20probabilities%20with%20supervised%20learning.pdf
Mô hình hóa Rủi ro Tín dụng bằng Python

Tính hiệu chỉnh

  • Hiển thị tỷ lệ dương tính thực cho mỗi xác suất dự đoán
  • Về cơ bản là biểu đồ đường của kết quả calibration_curve()
from sklearn.calibration import calibration_curve
calibration_curve(y_test, probabilities_of_default, n_bins = 5)

# Fraction of positives
(array([0.09602649, 0.19521012, 0.62035996, 0.67361111]),
# Average probability
 array([0.09543535, 0.29196742, 0.46898465, 0.65512207]))
Mô hình hóa Rủi ro Tín dụng bằng Python

Vẽ đường cong hiệu chỉnh

plt.plot(mean_predicted_value, fraction_of_positives, label="%s" % "Example Model")

Ví dụ đường cong hiệu chỉnh

Mô hình hóa Rủi ro Tín dụng bằng Python

Kiểm tra đường cong hiệu chỉnh

  • Ví dụ: chọn hai điểm (trên và dưới đường hoàn hảo)

Đường cong hiệu chỉnh với hai ví dụ dự đoán chưa hiệu chỉnh

Mô hình hóa Rủi ro Tín dụng bằng Python

Diễn giải đường cong hiệu chỉnh

Đường cong hiệu chỉnh với ví dụ phía trên

Mô hình hóa Rủi ro Tín dụng bằng Python

Diễn giải đường cong hiệu chỉnh

Đường cong hiệu chỉnh với ví dụ phía dưới

Mô hình hóa Rủi ro Tín dụng bằng Python

Ayo berlatih!

Mô hình hóa Rủi ro Tín dụng bằng Python

Preparing Video For Download...