การประเมินและนำโมเดลไปใช้งาน

การสร้างโมเดลความเสี่ยงด้านเครดิตด้วย Python

Michael Crabtree

Data Scientist, Ford Motor Company

เปรียบเทียบ classification report

สร้างรายงานด้วย classification_report() แล้วเปรียบเทียบกัน

รายงาน classification สำหรับ logistic regression และ gradient boosted tree

สูตรของ F1 score และ macro average F1 score

การวิเคราะห์ ROC และ AUC

โมเดลที่มีประสิทธิภาพดีกว่าจะมี lift สูงกว่า
lift ที่สูงขึ้นหมายถึงคะแนน AUC ที่สูงขึ้น

ตัวอย่างกราฟ ROC สำหรับสองโมเดล

การปรับเทียบโมเดล

ค่าความน่าจะเป็นของการผิดนัดชำระควรสะท้อนความมั่นใจของโมเดลได้อย่างแม่นยำ
- ค่าความน่าจะเป็นของการผิดนัดชำระมีความไม่แน่นอนในการพยากรณ์
ค่าความน่าจะเป็นที่พยากรณ์ได้จากกลุ่มตัวอย่างควรใกล้เคียงกับสัดส่วนการผิดนัดชำระจริงในกลุ่มนั้น

กลุ่มตัวอย่างสินเชื่อ	ค่าเฉลี่ย PD ที่พยากรณ์ได้	สัดส่วนการผิดนัดชำระจริง	ปรับเทียบแล้ว?
10	0.12	0.12	Yes
10	0.25	0.65	No

¹ http://datascienceassn.org/sites/default/files/Predicting%20good%20probabilities%20with%20supervised%20learning.pdf

การคำนวณค่า calibration

แสดงสัดส่วนการผิดนัดชำระจริงสำหรับแต่ละค่าความน่าจะเป็นที่พยากรณ์
คือกราฟเส้นของผลลัพธ์จาก calibration_curve()

from sklearn.calibration import calibration_curve
calibration_curve(y_test, probabilities_of_default, n_bins = 5)

# Fraction of positives
(array([0.09602649, 0.19521012, 0.62035996, 0.67361111]),
# Average probability
 array([0.09543535, 0.29196742, 0.46898465, 0.65512207]))

การพล็อต calibration curve

plt.plot(mean_predicted_value, fraction_of_positives, label="%s" % "Example Model")

ตัวอย่างกราฟ calibration curve

การตรวจสอบ calibration curve

ตัวอย่างเช่น เลือกสองจุด (เหนือและใต้เส้นอุดมคติ)

Calibration curve พร้อมตัวอย่างการพยากรณ์ที่ยังไม่ได้ปรับเทียบสองกรณี

การตีความ calibration curve

Calibration curve พร้อมตัวอย่างด้านบน

การตีความ calibration curve

Calibration curve พร้อมตัวอย่างด้านล่าง

มาฝึกกันเถอะ!

การสร้างโมเดลความเสี่ยงด้านเครดิตด้วย Python