什么是决策树？

使用 XGBoost 的极端梯度提升

Sergey Fogelson

Head of Data Science, TelevisaUnivision

可视化决策树

1 https://www.ibm.com/support/knowledgecenter/en/SS3RA7_15.0.0/ com.ibm.spss.modeler.help/nodes_treebuilding.htm
使用 XGBoost 的极端梯度提升

将决策树用作基学习器

  • 基学习器：集成算法中的单个学习算法
  • 由一系列二元问题组成
  • 在树的"叶"节点进行预测
使用 XGBoost 的极端梯度提升

决策树与 CART

  • 迭代构建（一次一个决策）
    • 直到满足停止准则
使用 XGBoost 的极端梯度提升

单棵决策树易过拟合

1 http://scott.fortmann-roe.com/docs/BiasVariance.html
使用 XGBoost 的极端梯度提升

单棵决策树易过拟合

1 http://scott.fortmann-roe.com/docs/BiasVariance.html
使用 XGBoost 的极端梯度提升

CART：分类与回归树

  • 每个叶节点始终包含一个实数分数
  • 之后可转换为类别
使用 XGBoost 的极端梯度提升

让我们用决策树实操一下！

使用 XGBoost 的极端梯度提升

Preparing Video For Download...