適応的ブースティング：受賞モデル

Pythonで学ぶアンサンブル手法

Román de las Heras

Data Scientist, Appodeal

受賞モデル

AdaBoost について

  • Yoav Freund と Robert Schapire により提案 (1997)
  • 2003 年にゲーデル賞受賞
  • 最初の実用的なブースティング手法
  • 広く使われる著名なアンサンブル法

godel-prize.jpg

Pythonで学ぶアンサンブル手法

AdaBoost の特性

  1. サンプル分布からインスタンスを抽出
    • 難しいインスタンスに高い重み
    • 初期は一様重み
  2. 推定器を重み付き多数決で結合
    • 良い推定器に高い重み
  3. 改善が保証される
  4. 分類・回帰に対応

adaboost-sample.bmp

Pythonで学ぶアンサンブル手法

scikit-learn での AdaBoost 分類

AdaBoostClassifier

from sklearn.ensemble import AdaBoostClassifier

clf_ada = AdaBoostClassifier(
   base_estimator,
   n_estimators,
   learning_rate
)

パラメータ

  • base_estimator
    • 既定: 決定木 (max_depth=1)
  • n_estimators
    • 既定: 50
  • learning_rate
    • 既定: 1.0
    • n_estimators と learning_rate のトレードオフ
Pythonで学ぶアンサンブル手法

scikit-learn での AdaBoost 回帰

AdaBoostRegressor

from sklearn.ensemble import AdaBoostRegressor

reg_ada = AdaBoostRegressor(
   base_estimator,
   n_estimators,
   learning_rate,
   loss
)

パラメータ

  • base_estimator
    • 既定: 決定木 (max_depth=3)
  • loss
    • linear (既定)
    • square
    • exponential
Pythonで学ぶアンサンブル手法

Passons à la pratique !

Pythonで学ぶアンサンブル手法

Preparing Video For Download...