सब कुछ एन्सेम्बल करके साथ लाना
Python में Ensemble Methods
Román de las Heras
Data Scientist, Appodeal
Chapter 1: Voting और Averaging
Voting
- Combination: mode (majority)
- Classification
- Heterogeneous ensemble method
Averaging
- Combination: mean (average)
- Classification और Regression
- Heterogeneous ensemble method
बेहतर विकल्प जब आप:
- कई अलग-अलग मॉडल बना चुके हों
- पक्का न हो कि कौन सा सबसे अच्छा है
- कुल प्रदर्शन सुधारना चाहते हों
Chapter 2: Bagging
Weak estimator
- रैंडम guessing से बस थोड़ा बेहतर प्रदर्शन
- हल्का और तेज़ मॉडल
- Homogeneous ensemble methods का आधार
Bagging (Bootstrap Aggregating)
- Replacement के साथ रैंडम sub-samples
- बड़ी संख्या में "weak" estimators
- Voting या Averaging से aggregate
- Homogeneous ensemble method
बेहतर विकल्प जब आप:
- Variance कम करना चाहते हों
- Overfitting से बचना ज़रूरी हो
- ज़्यादा stability और robustness चाहिए हो
* टिप्पणी:
- Bagging computationally महँगा है
Chapter 3: Boosting
Gradual learning
- Homogeneous ensemble method प्रकार
- Iterative learning पर आधारित
- Sequential मॉडल बिल्डिंग
Boosting algorithms
- AdaBoost
- Gradient Boosting:
- XGBoost
- LightGBM
- CatBoost
बेहतर विकल्प जब आप:
- जटिल समस्याएँ रखते हों
- Parallel processing या distributed computing लागू करनी हो
- बड़े datasets या high-dimensional categorical features हों
Chapter 4: Stacking
Stacking
- Combination: meta-estimator (model)
- Classification और Regression
- Heterogeneous ensemble method
Implementation
- pandas और sklearn से from scratch
- मौजूदा MLxtend लाइब्रेरी से
बेहतर विकल्प जब आप:
- Voting / Averaging आज़मा चुके हों पर नतीजे अपेक्षित न हों
- ऐसे मॉडल बनाए हों जो अलग-अलग केस में अच्छा करें
धन्यवाद और बेहतरीन एन्सेम्बलिंग!
Python में Ensemble Methods
