袋装树

R 中的树模型机器学习

Sandro Raabe

Data Scientist

集思广益更胜一人

群体的智慧

自助抽样与聚合

Bagging = Bootstrap Aggregation 的缩写

1. 自助抽样

有放回抽样 → 生成多个改动的训练集

2. 聚合

将不同模型的预测聚合为最终结果：
- 回归：取平均
- 分类：多数投票

步骤 1：自助抽样并训练

自助抽样示意

步骤 2：聚合

聚合结果

编码：指定袋装树

library(baguette)
spec_bagged <- bag_tree() %>%

    set_mode("classification") %>%

    set_engine("rpart", times = 100)

袋装决策树模型规范（classification）

主要参数：
  cost_complexity = 0
  min_n = 2

引擎特定参数：
  times = 100

计算引擎：rpart

训练所有树

model_bagged <- fit(spec_bagged, formula = still_customer ~ ., data = customers_train)

parsnip 模型对象

拟合时间：23.9s

袋装 CART（100 个成员的分类）

变量重要性分数包括：

# A tibble: 19 x 4
   term                     value std.error  used
   <chr>                    <dbl>     <dbl> <int>
 1 total_trans_ct           876.      3.93    100
 2 total_trans_amt          800.      4.54    100
 3 total_revolving_bal      491.      3.67    100

让我们自助抽样！

R 中的树模型机器学习