रिग्रेशन: फीचर चयन

Python में Machine Learning इंटरव्यू प्रश्नों का अभ्यास

Lisa Stuart

Data Scientist

सही फीचर्स चुनना:

• ओवरफिटिंग घटाता है
• एक्यूरेसी बढ़ाता है
• इंटरप्रेटेबिलिटी बढ़ाता है
• ट्रेनिंग समय घटाता है

¹ https://www.analyticsindiamag.com/what-are-feature-selection-techniques-in-machine-learning/

फीचर चयन विधियाँ

• फ़िल्टर: सांख्यिकीय परफॉर्मेंस के आधार पर फीचर्स रैंक करें
• रैपर: परफॉर्मेंस जाँचने के लिए ML विधि उपयोग करें
• एम्बेडेड: फीचर निकालने हेतु आवर्ती मॉडल ट्रेनिंग
• फीचर इम्पॉर्टेंस: ट्री-आधारित ML मॉडल

विधियों की तुलना

विधि	ML मॉडल उपयोग	सर्वश्रेष्ठ सबसेट चुने	ओवरफिट हो सकता है
फ़िल्टर	No	No	No
रैपर	Yes	Yes	Sometimes
एम्बेडेड	Yes	Yes	Yes
फीचर इम्पॉर्टेंस	Yes	Yes	Yes

कोरिलेशन गुणांक के सांख्यिकीय परीक्षण

फीचर/रिस्पॉन्स	Continuous	Categorical
Continuous	Pearson's Correlation	LDA
Categorical	ANOVA	Chi-Square

फ़िल्टर फंक्शन्स

फंक्शन	रिटर्न करता है
df.corr()	Pearson's correlation मैट्रिक्स
sns.heatmap(corr_object)	हीटमैप प्लॉट
abs()	एब्सोल्यूट वैल्यू

रैपर विधियाँ

1. फॉरवर्ड सेलेक्शन (LARS-least angle regression)
   • बिना फीचर से शुरू, एक-एक कर जोड़ता है
2. बैकवर्ड एलिमिनेशन
   • सभी फीचर्स से शुरू, एक-एक कर हटाता है
3. फॉरवर्ड सेलेक्शन/बैकवर्ड एलिमिनेशन का कॉम्बिनेशन (बिडायरेक्शनल एलिमिनेशन)
4. रिकर्सिव फीचर एलिमिनेशन
   • RFECV

एम्बेडेड विधियाँ

1. Lasso Regression
2. Ridge Regression
3. ElasticNet

ट्री-आधारित फीचर इम्पॉर्टेंस विधियाँ

• रैंडम फॉरेस्ट --> sklearn.ensemble.RandomForestRegressor
• एक्स्ट्रा ट्रीज़ --> sklearn.ensemble.ExtraTreesRegressor
• मॉडल फिट के बाद --> tree_mod.feature_importances_

फंक्शन	रिटर्न करता है
sklearn.svm.SVR	सपोर्ट वेक्टर रिग्रेशन एस्टीमेटर
sklearn.feature_selection.RFECV	क्रॉस-वैलिडेशन सहित रिकर्सिव फीचर एलिमिनेशन
rfe_mod.support_	चुने गए फीचर्स का बूलियन ऐरे
ref_mod.ranking_	फीचर रैंकिंग, चुना गया=1
sklearn.linear_model.LinearRegression	लीनियर मॉडल एस्टीमेटर
sklearn.linear_model.LarsCV	क्रॉस-वैलिडेशन सहित least angle regression
LarsCV.score	r-squared स्कोर
LarsCV.alpha_	अनुमानित रेग्युलराइज़ेशन पैरामीटर

अभ्यास करते हैं!

Python में Machine Learning इंटरव्यू प्रश्नों का अभ्यास