मॉडल मूल्यांकन और कार्यान्वयन

Python में क्रेडिट रिस्क मॉडलिंग

Michael Crabtree

Data Scientist, Ford Motor Company

क्लासिफिकेशन रिपोर्ट्स की तुलना

classification_report() से रिपोर्ट बनाएँ और तुलना करें

लॉजिस्टिक रिग्रेशन और ग्रेडिएंट बूस्टेड ट्री के लिए क्लासिफिकेशन रिपोर्ट

F1 स्कोर और मैक्रो औसत F1 स्कोर का सूत्र

ROC और AUC विश्लेषण

बेहतर प्रदर्शन वाले मॉडल में अधिक लिफ्ट होती है
अधिक लिफ्ट का मतलब AUC स्कोर अधिक होता है

दो मॉडलों के साथ ROC चार्ट उदाहरण

मॉडल कैलिब्रेशन

हम चाहते हैं कि डिफॉल्ट की हमारी probabilities मॉडल के confidence level को ठीक से दिखाएँ
- डिफॉल्ट की probability की भविष्यवाणियों में कुछ अनिश्चितता होती है
लोन के सैंपल और उनकी predicted probabilities उस सैंपल में actual defaults के प्रतिशत के करीब होने चाहिए

लोन का सैंपल	औसत predicted PD	सैंपल में actual defaults का प्रतिशत	Calibrated?
10	0.12	0.12	Yes
10	0.25	0.65	No

¹ http://datascienceassn.org/sites/default/files/Predicting%20good%20probabilities%20with%20supervised%20learning.pdf

कैलिब्रेशन की गणना

हर predicted probability के लिए true defaults का प्रतिशत दिखाता है
मूलतः calibration_curve() के परिणामों का एक line plot

from sklearn.calibration import calibration_curve
calibration_curve(y_test, probabilities_of_default, n_bins = 5)

# Fraction of positives
(array([0.09602649, 0.19521012, 0.62035996, 0.67361111]),
# Average probability
 array([0.09543535, 0.29196742, 0.46898465, 0.65512207]))

कैलिब्रेशन कर्व प्लॉट करना

plt.plot(mean_predicted_value, fraction_of_positives, label="%s" % "Example Model")

कैलिब्रेशन कर्व उदाहरण

कैलिब्रेशन कर्व जाँचना

उदाहरण के तौर पर, दो घटनाएँ चुनी गईं (परफेक्ट लाइन के ऊपर और नीचे)

दो बिना-कैलिब्रेटेड प्रेडिक्शंस के साथ कैलिब्रेशन कर्व

कैलिब्रेशन कर्व की व्याख्या

ऊपर वाले उदाहरण के साथ कैलिब्रेशन कर्व

कैलिब्रेशन कर्व की व्याख्या

नीचे वाले उदाहरण के साथ कैलिब्रेशन कर्व

अभ्यास करते हैं!

Python में क्रेडिट रिस्क मॉडलिंग