मिसिंग डेटा और इम्प्यूटेशन

Power BI में Python परिचय

Jacob H. Marquez

Data Scientist

मिसिंग डेटा क्या है?

"मिसिंग" के आम मान:

• null
• NA
• 99
• ""

मिसिंग डेटा क्या है?

"मिसिंग" के आम मान:

• null
• NA
• 99
• ""

entity	year	fished
Australia	1988	153148
Australia	1989	null
Australia	1990	567895
Australia	1991	632987
Australia	1992	643578
Australia	1993	null

डेटा मिसिंग क्यों होता है?

• सर्वे में प्रतिभागी ने कोई सवाल भूल गया या उत्तर देने से मना किया
• प्रतिभागी ने अध्ययन के दूसरे भाग में भाग लेना छोड़ दिया
• माप लेने वाले उपकरण में गड़बड़ी हुई
• गोपनीयता क़ानून डेटा के उपयोग को सीमित करते हैं

क्या यह रैंडम तरीके से मिसिंग है?

Missing at random

क्या यह रैंडम तरीके से मिसिंग है?

Missing not at random

क्या यह रैंडम तरीके से मिसिंग है?

Missing not at random

• उपकरण कम रीडिंग नहीं पकड़ पाता
• कुछ समूह जानकारी बताने की संभावना कम रखते हैं

मिसिंग डेटा को कैसे हैंडल करें?

Missing not at random

• विश्लेषण रोकें
• मिसिंग के कारण समझें
• और डेटा जुटाएँ
• सीमाएँ और मान्यताओं को स्पष्ट दर्ज करें

Missing at random

• ऑब्ज़र्वेशन हटाएँ
• मिसिंग के लिए इंडिकेटर वैरिएबल जोड़ें: है तो 1, नहीं तो 0
• इम्प्यूटेशन

इम्प्यूटेशन

परिभाषा: किसी मिसिंग मान को दूसरे मान से बदलना.

इम्प्यूटेशन के प्रकार:

• Mean
• Median
• Mode
• Previous या Next values

सबसे अच्छा जब कॉलम का 5% या कम डेटा मिसिंग हो.

मानों को sort करना न भूलें!

इम्प्यूटेशन - उदाहरण

Missing at random

Median इम्प्यूटेशन

डेटासेट

Invoice	StockCode	Description	Quantity	InvoiceDate	Price	Customer ID
506303	PADS	PADS TO MATCH ALL CUSHIONS	1	4/29/2010 10:43:00 AM	0.001	14249
496725	M	Manual	1	2/3/2010 2:16:00 PM	1.5	13619
502660	M	Manual	6	3/25/2010 5:18:00 PM	1.5	13187
509669	90214S	LETTER "S" BLING KEY RING	10	12/13/2009 3:54:00 PM	1.25	16725

अभ्यास करते हैं!

Power BI में Python परिचय