自助聚合（Bagging）

Python 中的集成方法

Román de las Heras

Data Scientist, Appodeal

异质 vs 同质集成

异质集成：

  • 不同算法（精调）
  • 少量基学习器
  • Voting、Averaging、Stacking

同质集成：

  • 相同算法（"弱"模型）
  • 大量基学习器
  • Bagging 与 Boosting
Python 中的集成方法

孔多塞陪审团定理

前提：

  • 模型彼此独立
  • 各模型优于随机猜测
  • 个体模型性能相近

结论： 增加模型数可提升集成效果（Voting 或 Averaging），并趋近于 1（100%）

Condorcet 孔多塞侯爵，法国哲学家与数学家

Python 中的集成方法

自助采样（Bootstrapping）

自助法需要：

  • 随机子样本
  • 有放回抽样

自助法保证：

  • 多样性： 数据集不同
  • 独立性： 分别抽样

Bagging.png

Python 中的集成方法

Bagging 的优缺点

优点

  • 通常可降低方差
  • 集成本身可避免过拟合
  • 更稳定、更健壮

缺点

  • 计算开销大
Python 中的集成方法

该练习了！

Python 中的集成方法

Preparing Video For Download...