Adaptive boosting: model premiat

Metode de ansamblu în Python

Román de las Heras

Data Scientist, Appodeal

Model premiat

Despre AdaBoost:

  • Propus de Yoav Freund și Robert Schapire (1997)
  • Câștigător al Premiului Gödel (2003)
  • Primul algoritm de boosting practic
  • Metodă de ansamblu frecvent utilizată

premiul-godel.jpg

Metode de ansamblu în Python

Proprietățile AdaBoost

  1. Instanțele sunt extrase folosind o distribuție de eșantionare
    • Instanțele dificile primesc ponderi mai mari
    • Inițializată ca distribuție uniformă
  2. Estimatorii sunt combinați prin vot majoritar ponderat
    • Estimatorii buni primesc ponderi mai mari
  3. Îmbunătățire garantată
  4. Clasificare și regresie

eșantionare-adaboost.bmp

Metode de ansamblu în Python

Clasificatorul AdaBoost cu scikit-learn

AdaBoostClassifier

from sklearn.ensemble import AdaBoostClassifier

clf_ada = AdaBoostClassifier(
   base_estimator,
   n_estimators,
   learning_rate
)

Parametri

  • base_estimator
    • Implicit: Decision Tree (max_depth=1)
  • n_estimators
    • Implicit: 50
  • learning_rate
    • Implicit: 1.0
    • Compromis între n_estimators și learning_rate
Metode de ansamblu în Python

Regresorul AdaBoost cu scikit-learn

AdaBoostRegressor

from sklearn.ensemble import AdaBoostRegressor

reg_ada = AdaBoostRegressor(
   base_estimator,
   n_estimators,
   learning_rate,
   loss
)

Parametri

  • base_estimator
    • Implicit: Decision Tree (max_depth=3)
  • loss
    • linear (implicit)
    • square
    • exponential
Metode de ansamblu în Python

Să exersăm!

Metode de ansamblu în Python

Preparing Video For Download...