AdaBoost: modelo premiado

Métodos de Ensemble em Python

Román de las Heras

Data Scientist, Appodeal

Modelo premiado

Sobre o AdaBoost:

  • Proposto por Yoav Freund e Robert Schapire (1997)
  • Vencedor do Prêmio Gödel (2003)
  • Primeiro algoritmo de boosting prático
  • Método de ensemble muito usado e conhecido

Prêmio Gödel

Métodos de Ensemble em Python

Propriedades do AdaBoost

  1. Instâncias são extraídas usando uma distribuição de amostragem
    • Instâncias difíceis têm pesos maiores
    • Inicialmente uniforme
  2. Estimadores são combinados por votação majoritária ponderada
    • Bons estimadores recebem pesos maiores
  3. Garantia de melhoria
  4. Classificação e Regressão

amostragem do adaboost

Métodos de Ensemble em Python

Classificador AdaBoost com scikit-learn

AdaBoostClassifier

from sklearn.ensemble import AdaBoostClassifier

clf_ada = AdaBoostClassifier(
   base_estimator,
   n_estimators,
   learning_rate
)

Parâmetros

  • base_estimator
    • Padrão: Decision Tree (max_depth=1)
  • n_estimators
    • Padrão: 50
  • learning_rate
    • Padrão: 1.0
    • Trade-off entre n_estimators e learning_rate
Métodos de Ensemble em Python

Regressor AdaBoost com scikit-learn

AdaBoostRegressor

from sklearn.ensemble import AdaBoostRegressor

reg_ada = AdaBoostRegressor(
   base_estimator,
   n_estimators,
   learning_rate,
   loss
)

Parâmetros

  • base_estimator
    • Padrão: Decision Tree (max_depth=3)
  • loss
    • linear (padrão)
    • square
    • exponential
Métodos de Ensemble em Python

Vamos praticar!

Métodos de Ensemble em Python

Preparing Video For Download...