Renforcement adaptatif : modèle primé

Méthodes d'ensemble en Python

Román de las Heras

Data Scientist, Appodeal

Modèle primé

À propos d'AdaBoost :

  • Proposé par Yoav Freund et Robert Schapire (1997)
  • Lauréat du prix Gödel (2003)
  • Premier algorithme de boosting pratique
  • Méthode d'assemblage très utilisée et reconnue

godel-prize.jpg

Méthodes d'ensemble en Python

Propriétés d'AdaBoost

  1. Les instances sont tirées selon une distribution d'échantillonnage
    • Les instances difficiles ont un poids plus élevé
    • Initialisé uniformément
  2. Les estimateurs sont combinés par vote majoritaire pondéré
    • Les bons estimateurs reçoivent un poids plus élevé
  3. Amélioration garantie
  4. Classification et régression

adaboost-sample.bmp

Méthodes d'ensemble en Python

Classifieur AdaBoost avec scikit-learn

AdaBoostClassifier

from sklearn.ensemble import AdaBoostClassifier

clf_ada = AdaBoostClassifier(
   base_estimator,
   n_estimators,
   learning_rate
)

Paramètres

  • base_estimator
    • Par défaut : arbre de décision (max_depth=1)
  • n_estimators
    • Par défaut : 50
  • learning_rate
    • Par défaut : 1.0
    • Compromis entre n_estimators et learning_rate
Méthodes d'ensemble en Python

Régression AdaBoost avec scikit-learn

AdaBoostRegressor

from sklearn.ensemble import AdaBoostRegressor

reg_ada = AdaBoostRegressor(
   base_estimator,
   n_estimators,
   learning_rate,
   loss
)

Paramètres

  • base_estimator
    • Par défaut : arbre de décision (max_depth=3)
  • loss
    • linéaire (par défaut)
    • carré
    • exponentiel
Méthodes d'ensemble en Python

Passons à la pratique !

Méthodes d'ensemble en Python

Preparing Video For Download...