AdaBoost adaptativo: modelo premiado

Ensemble Methods in Python

Román de las Heras

Data Scientist, Appodeal

Modelo premiado

Sobre AdaBoost:

  • Propuesto por Yoav Freund y Robert Schapire (1997)
  • Ganador del Premio Gödel (2003)
  • El primer algoritmo de boosting práctico
  • Método de conjunto muy usado y conocido

premio-godel.jpg

Ensemble Methods in Python

Propiedades de AdaBoost

  1. Las instancias se extraen con una distribución de muestreo
    • Las difíciles tienen mayor peso
    • Inicialmente uniforme
  2. Se combinan estimadores con voto mayoritario ponderado
    • A los buenos se les asigna más peso
  3. Mejora garantizada
  4. Clasificación y regresión

muestra-adaboost.bmp

Ensemble Methods in Python

Clasificador AdaBoost con scikit-learn

AdaBoostClassifier

from sklearn.ensemble import AdaBoostClassifier

clf_ada = AdaBoostClassifier(
   base_estimator,
   n_estimators,
   learning_rate
)

Parámetros

  • base_estimator
    • Predeterminado: árbol de decisión (max_depth=1)
  • n_estimators
    • Predeterminado: 50
  • learning_rate
    • Predeterminado: 1.0
    • Equilibrio entre n_estimators y learning_rate
Ensemble Methods in Python

Regresor AdaBoost con scikit-learn

AdaBoostRegressor

from sklearn.ensemble import AdaBoostRegressor

reg_ada = AdaBoostRegressor(
   base_estimator,
   n_estimators,
   learning_rate,
   loss
)

Parámetros

  • base_estimator
    • Predeterminado: árbol de decisión (max_depth=3)
  • loss
    • linear (predeterminado)
    • square
    • exponential
Ensemble Methods in Python

¡Vamos a practicar!

Ensemble Methods in Python

Preparing Video For Download...