ブートストラップ集約（バギング）

Pythonで学ぶアンサンブル手法

Román de las Heras

Data Scientist, Appodeal

異種 vs 同種アンサンブル

異種アンサンブル:

  • 異なるアルゴリズム（細かく調整）
  • 少数の推定器
  • Voting・Averaging・Stacking

同種アンサンブル:

  • 同一アルゴリズム（「弱学習器」）
  • 多数の推定器
  • Bagging・Boosting
Pythonで学ぶアンサンブル手法

コンドルセの陪審定理

要件:

  • モデル同士が独立
  • 各モデルはランダム推測より良い
  • 個々の性能が同程度

結論: モデル数を増やすとアンサンブル（Voting または Averaging）の性能が向上し，1（100%）に近づきます

コンドルセ マリー・ジャン＝アントワーヌ・ニコラ・ド・カリタ，コンドルセ侯。フランスの哲学者・数学者

Pythonで学ぶアンサンブル手法

ブートストラップ

ブートストラップの要件:

  • ランダムなサブサンプル
  • 復元抽出を用いる

ブートストラップの効果:

  • 多様な集団: 異なるデータセット
  • 独立性: 個別にサンプリング

Bagging.png

Pythonで学ぶアンサンブル手法

バギングの長所と短所

長所

  • 分散を抑えやすい
  • アンサンブル自体で過学習を回避しやすい
  • 安定性と堅牢性が向上

短所

  • 計算コストが高い
Pythonで学ぶアンサンブル手法

練習しましょう！

Pythonで学ぶアンサンブル手法

Preparing Video For Download...