Exploratory Data Analysis क्या है?

Power BI में Exploratory Data Analysis

Jacob H. Marquez

Data Scientist at Microsoft

Exploratory Data Analysis क्या है?

"डेटासेट का विश्लेषण कर उनके मुख्य गुणों का सार निकालने का एक तरीका, जो अक्सर सांख्यिकीय ग्राफ़िक्स और अन्य डेटा विज़ुअलाइज़ेशन विधियों का उपयोग करता है।"

¹ https://en.wikipedia.org/wiki/Exploratory_data_analysis

EDA के छह चरण

डेटा संरचना समझना
Missing data पहचानना
वर्णनात्मक आँकड़ों व distributions से डेटा बताना
Outliers पहचानना
वैरिएबल्स के बीच संबंध जाँचना व मापना
Hypothesis बनाना

EDA के छह चरण

डेटा संरचना समझना
Missing data पहचानना
वर्णनात्मक आँकड़ों व distributions से डेटा बताना
Outliers पहचानना
वैरिएबल्स के बीच संबंध जाँचना व मापना
Hypothesis बनाना

1. डेटा संरचना समझना

Continuous

संख्यात्मक वैरिएबल्स, जो अक्सर अनंत मान ले सकते हैं

अंतरिक्ष में सितारों की संख्या
Click-through rates
दो शहरों के बीच दूरी

Categorical

गैर-संখ্যात्मक वैरिएबल्स, आमतौर पर टेक्स्ट, जिनके दो या अधिक समूह होते हैं

House types
Country
Company

2. Missing data पहचानना

Missing at random

नौ-बाय-चार मैट्रिक्स, जिसमें तीन-तीन पंक्तियों के समूह तीन शहरों: सिएटल, न्यूयॉर्क सिटी, और पेरिस के लिए हैं. 30 सेल्स में वर्षा (इंच) के मान हैं और 6 सेल्स तीनों समूहों में बेतरतीब खाली हैं.

Missing not at random

नौ-बाय-चार मैट्रिक्स, जिसमें तीन-तीन पंक्तियों के समूह तीन शहरों: सिएटल, न्यूयॉर्क सिटी, और पेरिस के लिए हैं. 30 सेल्स में वर्षा (इंच) के मान हैं और 4 सेल्स केवल सिएटल में बेतरतीब खाली हैं.

2. Missing data का समाधान

वही नौ-बाय-चार मैट्रिक्स लेकिन ऊपर की पंक्ति हटाई गई है, ताकि खाली सेल्स हटाने को दिखाया जा सके.

वही नौ-बाय-चार मैट्रिक्स लेकिन ऊपर की पंक्ति में अब मान हैं, ताकि खाली सेल्स को median मान से भरने (impute) को दिखाया जा सके.

3. डेटा का वर्णन

Minimum
Maximum
Mean: सभी मानों का योग/observations की संख्या
Median: मानों की रेंज के बीच का मान
Standard Deviation: किसी वैरिएबल का mean से औसत विचलन, सभी डेटा पॉइंट्स पर

3. Distributions से डेटा का वर्णन

लोगों की ऊँचाइयों का एक हिस्टोग्राम, x-अक्ष पर ऊँचाई के मान और y-अक्ष पर उनकी आवृत्ति.

Median और mean समान होते हैं
सममित वक्र

3. Distributions से डेटा का वर्णन

घरेलू आय का एक हिस्टोग्राम, x-अक्ष पर आय और y-अक्ष पर उनकी आवृत्ति. हिस्टोग्राम बाएँ तरफ चौड़ा है और दाएँ जाते-जाते संकरा होता है.

Median < Mean
"Right-skewed": पूँछ दाईं ओर

ऑनलाइन बिताए समय का एक हिस्टोग्राम, x-अक्ष पर समय और y-अक्ष पर उनकी आवृत्ति. हिस्टोग्राम बाएँ तरफ संकरा है और दाएँ जाते-जाते चौड़ा होता है.

Median > Mean
"Left-skewed": पूँछ बाईं ओर

डेटासेट: AirBnB listings

AirBnB डेटासेट की तस्वीर, जिसमें पाँच कॉलम हैं - listing_id, host_id, host_since (date कॉलम), city, और price.

अभ्यास करते हैं!

Power BI में Exploratory Data Analysis