एडेप्टिव बूस्टिंग: अवॉर्ड-विनिंग मॉडल

Python में Ensemble Methods

Román de las Heras

Data Scientist, Appodeal

अवॉर्ड-विनिंग मॉडल

AdaBoost के बारे में:

  • Yoav Freund और Robert Schapire (1997) द्वारा प्रस्तावित
  • Gödel Prize विजेता (2003)
  • पहला प्रैक्टिकल बूस्टिंग एल्गोरिदम
  • बेहद लोकप्रिय और प्रसिद्ध एंसेंबल मेथड

godel-prize.jpg

Python में Ensemble Methods

AdaBoost की विशेषताएँ

  1. सैंपल डिस्ट्रीब्यूशन से इंस्टेंस चुने जाते हैं
    • कठिन इंस्टेंस के वेट अधिक होते हैं
    • शुरुआत में यूनिफॉर्म रखे जाते हैं
  2. एस्टीमेटर को वेटेड मेजॉरिटी वोटिंग से जोड़ा जाता है
    • अच्छे एस्टीमेटर को अधिक वेट मिलते हैं
  3. सुधार की गारंटी
  4. क्लासिफिकेशन और रिग्रेशन

adaboost-sample.bmp

Python में Ensemble Methods

scikit-learn के साथ AdaBoost classifier

AdaBoostClassifier

from sklearn.ensemble import AdaBoostClassifier

clf_ada = AdaBoostClassifier(
   base_estimator,
   n_estimators,
   learning_rate
)

पैरामीटर

  • base_estimator
    • डिफॉल्ट: Decision Tree (max_depth=1)
  • n_estimators
    • डिफॉल्ट: 50
  • learning_rate
    • डिफॉल्ट: 1.0
    • n_estimators और learning_rate के बीच ट्रेड-ऑफ
Python में Ensemble Methods

scikit-learn के साथ AdaBoost regressor

AdaBoostRegressor

from sklearn.ensemble import AdaBoostRegressor

reg_ada = AdaBoostRegressor(
   base_estimator,
   n_estimators,
   learning_rate,
   loss
)

पैरामीटर

  • base_estimator
    • डिफॉल्ट: Decision Tree (max_depth=3)
  • loss
    • linear (डिफॉल्ट)
    • square
    • exponential
Python में Ensemble Methods

अभ्यास करते हैं!

Python में Ensemble Methods

Preparing Video For Download...