Adaptive boosting: model pemenang penghargaan

Metode Ensemble di Python

Román de las Heras

Data Scientist, Appodeal

Model pemenang penghargaan

Tentang AdaBoost:

  • Diusulkan oleh Yoav Freund dan Robert Schapire (1997)
  • Pemenang Hadiah Gödel (2003)
  • Algoritma boosting praktis pertama
  • Metode ansambel yang sangat populer

godel-prize.jpg

Metode Ensemble di Python

Properti AdaBoost

  1. Instance diambil dengan sebaran sampel
    • Instance sulit berbobot lebih tinggi
    • Awalnya seragam
  2. Estimator digabung dengan voting mayoritas berbobot
    • Estimator bagus berbobot lebih tinggi
  3. Dijamin membaik
  4. Klasifikasi dan Regresi

adaboost-sample.bmp

Metode Ensemble di Python

Klasifikator AdaBoost dengan scikit-learn

AdaBoostClassifier

from sklearn.ensemble import AdaBoostClassifier

clf_ada = AdaBoostClassifier(
   base_estimator,
   n_estimators,
   learning_rate
)

Parameter

  • base_estimator
    • Bawaan: Decision Tree (max_depth=1)
  • n_estimators
    • Bawaan: 50
  • learning_rate
    • Bawaan: 1.0
    • Trade-off antara n_estimators dan learning_rate
Metode Ensemble di Python

Regresor AdaBoost dengan scikit-learn

AdaBoostRegressor

from sklearn.ensemble import AdaBoostRegressor

reg_ada = AdaBoostRegressor(
   base_estimator,
   n_estimators,
   learning_rate,
   loss
)

Parameter

  • base_estimator
    • Bawaan: Decision Tree (max_depth=3)
  • loss
    • linear (bawaan)
    • square
    • exponential
Metode Ensemble di Python

Ayo berlatih!

Metode Ensemble di Python

Preparing Video For Download...