自助聚合（Bagging）

Python 的 Ensemble 方法

Román de las Heras

Data Scientist, Appodeal

異質與同質集成

異質型：

  • 不同演算法（微調）
  • 少量估計器
  • 投票、平均、堆疊

同質型：

  • 相同演算法（「弱」模型）
  • 大量估計器
  • Bagging 與 Boosting
Python 的 Ensemble 方法

孔多賽陪審團定理

條件：

  • 模型彼此獨立
  • 每個模型表現優於隨機猜測
  • 各模型表現相近

結論： 增加模型數可提升集成表現（投票或平均），極限趨近於 1（100%）

孔多賽 孔多賽侯爵，法國哲學家與數學家

Python 的 Ensemble 方法

Bootstrapping（自助抽樣）

Bootstrapping 需要：

  • 隨機子樣本
  • 可重複抽樣

Bootstrapping 保證：

  • 多元群眾： 不同資料集
  • 相互獨立： 分別抽樣

Bagging.png

Python 的 Ensemble 方法

Bagging 的優缺點

優點

  • Bagging 通常能降低變異
  • 集成本身可避免過度擬合
  • 穩定且更具魯棒性

缺點

  • 計算成本高
Python 的 Ensemble 方法

一起來練習吧！

Python 的 Ensemble 方法

Preparing Video For Download...