集成到一起

Python 中的集成方法

Román de las Heras

Data Scientist, Appodeal

第1章：投票与平均

投票（Voting）

  • 组合： 众数（多数）
  • 分类
  • 异质集成方法

平均（Averaging）

  • 组合： 均值（平均）
  • 分类与回归
  • 异质集成方法

适用场景：

  • 已构建多个不同模型
  • 不确定哪个最好
  • 想提升整体表现
Python 中的集成方法

第2章：装袋

弱估计器

  • 表现略优于随机猜测
  • 轻量且快速
  • 同质集成方法的基座

装袋（Bagging，自助聚合）

  • 有放回的随机子样本
  • 大量"弱"估计器
  • 通过投票或平均聚合
  • 同质集成方法

适用场景：

  • 希望降低方差
  • 需避免过拟合
  • 需要更稳定、更稳健

观察：

  • 装袋计算开销大
Python 中的集成方法

第3章：提升（Boosting）

逐步学习

  • 同质集成方法类型
  • 基于迭代学习
  • 顺序构建模型

提升（Boosting）算法

  • AdaBoost
  • 梯度提升：
    • XGBoost
    • LightGBM
    • CatBoost

适用场景：

  • 问题复杂
  • 需并行或分布式计算
  • 数据量大或高维类别特征多
Python 中的集成方法

第4章：堆叠（Stacking）

堆叠（Stacking）

  • 组合： 元估计器（模型）
  • 分类与回归
  • 异质集成方法

实现

  • 基于 pandas 与 sklearn 从零实现
  • 使用现成的 MLxtend 库

适用场景：

  • 试过投票/平均但效果不理想
  • 构建的模型在不同情形下各有所长
Python 中的集成方法

感谢学习，集成顺利！

Python 中的集成方法

Preparing Video For Download...