Exploratory Data Analysis

एंड-टू-एंड मशीन लर्निंग

Joshua Stapleton

Machine Learning Engineer

EDA प्रक्रिया

मरीजों के हृदय-रोग डेटासेट पर लागू EDA के घटकों का आरेख

df.head()

# पहली 5 पंक्तियाँ प्रिंट करें
print(heart_disease_df.head())

हमारे heart disease DataFrame की पहली 5 पंक्तियाँ. df.head() कॉल का परिणाम.

df.info()

# विवरण प्रिंट करें
print(heart_disease_df.info())

हमारे heart disease DataFrame की समरी जानकारी. df.info() कॉल का परिणाम.

df.value_counts()

# क्लास बैलेंस प्रिंट करें
print(heart_disease_df['target'].value_counts(normalize=True))

हमारे heart disease DataFrame के target कॉलम का क्लास बैलेंस. target पर .value_counts() का परिणाम.

df.isnull() का उपयोग करें

उपयोग

# जाँचें कि क्या कॉलम के सभी मान null हैं
print(heart_disease_df['oldpeak'].isnull().all())

True

असामान्य मान
- माप त्रुटियाँ
- डेटा एंट्री त्रुटियाँ
- दुर्लभ घटनाएँ
मॉडल प्रदर्शन को बिगाड़ सकते हैं
- मॉडल चरम मानों पर सीखता है
- सामान्य ट्रेंड नहीं पकड़ता
कभी-कभी उपयोगी भी:
- दुर्लभ मान
- पता लगाना: boxplot या IQR से

एक विजुअलाइज़ेशन जो outlier दिखाता है.

विजुअलाइज़ेशन दिखाते हैं:

अन्य विजुअलाइज़ेशन प्रकार:

df['age'].plot(kind='hist')
plt.xlabel('Age')
plt.ylabel('Frequency')
plt.show()

हमारे डेटासेट में age का वितरण दिखाने वाला विजुअलाइज़ेशन.

¹ https://seaborn.pydata.org/tutorial/distributions.html, https://app.datacamp.com/learn/courses/intermediate-data-visualization-with-seaborn

डेटा समझें

Outliers पहचानें

परिकल्पनाएँ बनाएं

मान्यताएँ जाँचे

एंड-टू-एंड मशीन लर्निंग