डेटा आउट्लायर और स्केलिंग

Python में Machine Learning इंटरव्यू प्रश्नों का अभ्यास

Lisa Stuart

Data Scientist

आउट्लायर

डेटा आउट्लायर

¹ https://bolt.mph.ufl.edu/6050-6052/unit-1/one-quantitative-variable-introduction/understanding-outliers/

डेटा IQR

¹ By Jhguch at en.wikipedia, CC BY-SA 2.5, https://commons.wikimedia.org/w/index.php?curid=14524285

लिनियर मॉडल फिट

¹ https://www.r-bloggers.com/outlier-detection-and-treatment-with-r/

Function	returns
`sns.boxplot(x= , y='Loan Status')`	लक्ष्य वैरिएबल पर कंडीशन्ड बॉक्सप्लॉट
`sns.distplot()`	हिस्टोग्राम और kernel density estimate (kde)
`np.abs()`	परिमाण मान लौटाता है
`stats.zscore()`	z-score गणना करता है
`mstats.winsorize(limits=[0.05, 0.05])`	आउट्लायर पर floor और ceiling लागू करता है
`np.where(condition, true, false)`	मानों को रिप्लेस करता है

वैरिएंस

¹ https://machinelearningmastery.com/a-gentle-introduction-to-calculating-normal-summary-statistics/

फॉर्मूला z-score standardization

फॉर्मूला min-max स्केलिंग

¹ https://medium.com/@rrfd/standardize-or-normalize-examples-in-python-e3f174b65dfc

आउट्लायर कैसे पहचानें और सही तरह से हैंडल करें? Min/max या z-score standardization का डेटा पर क्या असर होता है? वह कथन चुनें जो सही है:

आउट्लायर वह बिंदु है जो किसी फीचर में समान बिंदुओं की रेंज से बस थोड़ा बाहर हो।
किसी संदर्भ में, असामान्य माने गए आउट्लायर एक प्रेडिक्टिव ML मॉडल बनाने में सहायक होते हैं।
Mix/max स्केलिंग डेटा को mean 0, SD 1 देती है और वैरिएंस बढ़ाती है।
Z-score standardization डेटा को (0,1) इंटरवल में स्केल करती है और मॉडल फिट सुधारती है।

आउट्लायर कैसे पहचानें और सही तरह से हैंडल करें? Min/max या z-score standardization का डेटा पर क्या असर होता है? सही उत्तर है:

किसी संदर्भ में, असामान्य माने गए आउट्लायर एक प्रेडिक्टिव ML मॉडल बनाने में सहायक होते हैं। (फ्रॉड डिटेक्शन, साइबरसिक्योरिटी इवेंट्स, आदि में लक्ष्य ही इन्हें खोजना होता है.)

आउट्लायर कैसे पहचानें और सही तरह से हैंडल करें? Min/max या z-score standardization का डेटा पर क्या असर होता है?

आउट्लायर किसी फीचर की समान बिंदुओं की रेंज से बस थोड़ा बाहर होता है। (किसी बिंदु पर आउट्लायर का संदेह तब होता है जब वह IQR से 1.5 गुना से अधिक दूर हो.)
Mix/max स्केलिंग mean 0, SD 1 देती है और वैरिएंस बढ़ाती है। (Min/max स्केलिंग डेटा को (0,1) इंटरवल में लाती है; वैरिएंस बढ़े या घटे, यह मूल डेटा पर निर्भर है.)
Z-score standardization डेटा को (0,1) इंटरवल में स्केल करती है और मॉडल फिट सुधारती है। (Z-score standardization डेटा को mean 0 और sd 1 देती है, जिससे मॉडल फिट सुधर सकता है.)

प्रीप्रोसेसिंग स्टेप्स

Python में Machine Learning इंटरव्यू प्रश्नों का अभ्यास