树模型方法的直观理解

R 中的监督学习：回归

Nina Zumel and John Mount

Win-Vector, LLC

示例：用妊娠期与胎仔数预测动物智力

决策树

规则形式：

• 若 a 且 b 且 c，则 y

非线性概念

• 区间
• 非单调关系

非加性交互

• 与（AND）：类似乘法

决策树

• 若 Litter < 1.15 且 Gestation $\ge$ 268 $\rightarrow$ intelligence = 0.315
• 若 Litter ∈ [1.15, 4.3) $\rightarrow$ intelligence = 0.131

决策树

优点：树具有丰富的表达空间

Model	RMSE
linear	0.1200419
tree	0.1072732

决策树

缺点：粒度较粗的预测

树难以表示线性关系

树预测与坐标轴对齐的区域

每种颜色代表一个不同的预测值

树难以表示线性关系

用阶梯来拟合直线很难

树的其他问题

• 切分过多的树（深树）：
  • 过于复杂，易过拟合
• 切分过少的树（浅树）：
  • 预测过于粗糙

树的集成

集成模型比单棵树的预测更细致

树的集成

集成模型比单棵树更贴合动物智力数据

Model	RMSE
linear	0.1200419
tree	0.1072732
random forest	0.0901681

Passons à la pratique !

R 中的监督学习：回归