लोन डेटा में मिसिंग डेटा का जोखिम

Python में क्रेडिट रिस्क मॉडलिंग

Michael Crabtree

Data Scientist, Ford Motor Company

मिसिंग डेटा क्या है?

वास्तविक मान की जगह पंक्ति में NULLs
एक खाली string ''
पूरी तरह खाली पंक्ति नहीं
डेटा की किसी भी कॉलम में हो सकता है

मिसिंग employment length वाले डेटा फ्रेम का नमूना

आउटलायर से समानताएँ

मशीन लर्निंग मॉडल के परफॉर्मेंस पर नकारात्मक असर
अनपेक्षित तरीकों से मॉडल में बायस ला सकता है
कुछ मशीन लर्निंग मॉडलों में errors करा सकता है

आउटलायर से समानताएँ

मशीन लर्निंग मॉडल के परफॉर्मेंस पर नकारात्मक असर
अनपेक्षित तरीकों से मॉडल में बायस ला सकता है
कुछ मशीन लर्निंग मॉडलों में errors करा सकता है

Missing Data Type	Possible Result
NULL in numeric column	Error
NULL in string column	Error

मिसिंग डेटा कैसे हैंडल करें

मिसिंग डेटा हैंडल करने के आम तौर पर तीन तरीके
- जहाँ डेटा मिसिंग है वहाँ values को replace करें
- मिसिंग डेटा वाली rows को हटा दें
- मिसिंग डेटा वाली rows को जैसा है वैसा छोड़ दें
डेटा की समझ ही कार्रवाई तय करती है

मिसिंग डेटा कैसे हैंडल करें

मिसिंग डेटा हैंडल करने के आम तौर पर तीन तरीके
- जहाँ डेटा मिसिंग है वहाँ values को replace करें
- मिसिंग डेटा वाली rows को हटा दें
- मिसिंग डेटा वाली rows को जैसा है वैसा छोड़ दें
डेटा की समझ ही कार्रवाई तय करती है

Missing Data	Interpretation	Action
NULL in `loan_status`	लोन हाल ही में अप्रूव हुआ	prediction डेटा से हटाएँ
NULL in `person_age`	उम्र दर्ज/प्रकट नहीं	median से replace करें

मिसिंग डेटा ढूँढना

isnull() फंक्शन से null values आसानी से मिलती हैं
sum() फंक्शन से null records की गिनती हो जाती है
.any() मेथड सभी कॉलम जाँचता है

null_columns = cr_loan.columns[cr_loan.isnull().any()]
cr_loan[null_columns].isnull().sum()

# Total number of null values per column
person_home_ownership          25
person_emp_length             895
loan_intent                    25
loan_int_rate                3140
cb_person_default_on_file      15

मिसिंग डेटा को replace करना

एग्रीगेट फंक्शंस/मेथड्स के साथ .fillna() जैसी विधियों से मिसिंग डेटा replace करें

cr_loan['loan_int_rate'].fillna((cr_loan['loan_int_rate'].mean()), inplace = True)

औसत से मिसिंग interest rate को replace करने का उदाहरण

मिसिंग डेटा हटाना

आउटलायर की तरह indices से records पहचानें
.drop() मेथड से records को पूरी तरह हटा दें

indices = cr_loan[cr_loan['person_emp_length'].isnull()].index
cr_loan.drop(indices, inplace=True)

अभ्यास करते हैं!

Python में क्रेडिट रिस्क मॉडलिंग