Adaptive boosting: โมเดลที่ได้รับรางวัล

Ensemble Methods ใน Python

Román de las Heras

Data Scientist, Appodeal

โมเดลที่ได้รับรางวัล

เกี่ยวกับ AdaBoost:

  • เสนอโดย Yoav Freund และ Robert Schapire (1997)
  • ได้รับรางวัล Gödel Prize (2003)
  • อัลกอริทึม boosting ภาคปฏิบัติตัวแรก
  • เป็น ensemble method ที่ได้รับความนิยมสูง

รางวัล Gödel Prize

Ensemble Methods ใน Python

คุณสมบัติของ AdaBoost

  1. เลือก instance โดยใช้การกระจายตัวอย่าง
    • instance ที่ยากจะมีน้ำหนักสูงกว่า
    • เริ่มต้นด้วยการกระจายสม่ำเสมอ
  2. รวม estimator ด้วยการโหวตแบบถ่วงน้ำหนัก
    • estimator ที่ดีจะได้รับน้ำหนักสูงกว่า
  3. รับประกันว่าประสิทธิภาพจะดีขึ้น
  4. รองรับทั้ง Classification และ Regression

ตัวอย่างการสุ่มของ AdaBoost

Ensemble Methods ใน Python

AdaBoost classifier กับ scikit-learn

AdaBoostClassifier

from sklearn.ensemble import AdaBoostClassifier

clf_ada = AdaBoostClassifier(
   base_estimator,
   n_estimators,
   learning_rate
)

พารามิเตอร์

  • base_estimator
    • ค่าเริ่มต้น: Decision Tree (max_depth=1)
  • n_estimators
    • ค่าเริ่มต้น: 50
  • learning_rate
    • ค่าเริ่มต้น: 1.0
    • มีการแลกเปลี่ยนระหว่าง n_estimators กับ learning_rate
Ensemble Methods ใน Python

AdaBoost regressor กับ scikit-learn

AdaBoostRegressor

from sklearn.ensemble import AdaBoostRegressor

reg_ada = AdaBoostRegressor(
   base_estimator,
   n_estimators,
   learning_rate,
   loss
)

พารามิเตอร์

  • base_estimator
    • ค่าเริ่มต้น: Decision Tree (max_depth=3)
  • loss
    • linear (ค่าเริ่มต้น)
    • square
    • exponential
Ensemble Methods ใน Python

มาฝึกกันเถอะ!

Ensemble Methods ใน Python

Preparing Video For Download...