Boosting adattivo: modello premiato

Metodi Ensemble in Python

Román de las Heras

Data Scientist, Appodeal

Modello premiato

Su AdaBoost:

  • Proposto da Yoav Freund e Robert Schapire (1997)
  • Vincitore del Premio Gödel (2003)
  • Primo algoritmo di boosting pratico
  • Metodo ensemble molto usato e noto

godel-prize.jpg

Metodi Ensemble in Python

Proprietà di AdaBoost

  1. Le istanze sono campionate da una distribuzione
    • Le istanze difficili hanno pesi maggiori
    • Inizialmente uniforme
  2. Gli stimatori sono combinati con voto a maggioranza pesato
    • Agli stimatori migliori vanno pesi maggiori
  3. Garantisce miglioramenti
  4. Classificazione e regressione

campionamento-adaboost.bmp

Metodi Ensemble in Python

Classificatore AdaBoost con scikit-learn

AdaBoostClassifier

from sklearn.ensemble import AdaBoostClassifier

clf_ada = AdaBoostClassifier(
   base_estimator,
   n_estimators,
   learning_rate
)

Parametri

  • base_estimator
    • Predefinito: albero decisionale (max_depth=1)
  • n_estimators
    • Predefinito: 50
  • learning_rate
    • Predefinito: 1.0
    • Compromesso tra n_estimators e learning_rate
Metodi Ensemble in Python

Regressore AdaBoost con scikit-learn

AdaBoostRegressor

from sklearn.ensemble import AdaBoostRegressor

reg_ada = AdaBoostRegressor(
   base_estimator,
   n_estimators,
   learning_rate,
   loss
)

Parametri

  • base_estimator
    • Predefinito: albero decisionale (max_depth=3)
  • loss
    • lineare (predefinito)
    • quadratica
    • esponenziale
Metodi Ensemble in Python

Passons à la pratique !

Metodi Ensemble in Python

Preparing Video For Download...