Adaptive boosting: oceňovaný model

Ensemble Methods in Python

Román de las Heras

Data Scientist, Appodeal

Oceňovaný model

O AdaBoost:

  • Navržen Yoavem Freundem a Robertem Schapitem (1997)
  • Vítěz Gödelovy ceny (2003)
  • První praktický boostingový algoritmus
  • Hojně využívaná a dobře známá ansámblová metoda

Gödelova cena

Ensemble Methods in Python

Vlastnosti AdaBoost

  1. Instance jsou vybírány podle rozložení vzorků
    • Obtížné instance mají vyšší váhy
    • Inicializováno jako rovnoměrné
  2. Estimátory jsou kombinovány váženým hlasováním
    • Lepším estimátorům jsou přiřazeny vyšší váhy
  3. Zaručené zlepšení
  4. Klasifikace i regrese

Ukázka AdaBoost vzorkování

Ensemble Methods in Python

AdaBoost klasifikátor v scikit-learn

AdaBoostClassifier

from sklearn.ensemble import AdaBoostClassifier

clf_ada = AdaBoostClassifier(
   base_estimator,
   n_estimators,
   learning_rate
)

Parametry

  • base_estimator
    • Výchozí: rozhodovací strom (max_depth=1)
  • n_estimators
    • Výchozí: 50
  • learning_rate
    • Výchozí: 1.0
    • Kompromis mezi n_estimators a learning_rate
Ensemble Methods in Python

AdaBoost regressor v scikit-learn

AdaBoostRegressor

from sklearn.ensemble import AdaBoostRegressor

reg_ada = AdaBoostRegressor(
   base_estimator,
   n_estimators,
   learning_rate,
   loss
)

Parametry

  • base_estimator
    • Výchozí: rozhodovací strom (max_depth=3)
  • loss
    • linear (výchozí)
    • square
    • exponential
Ensemble Methods in Python

Lass uns üben!

Ensemble Methods in Python

Preparing Video For Download...