Случайные леса

Обучение с учителем в R: регрессия

Nina Zumel and John Mount

Win-Vector, LCC

Множество разнообразных деревьев решений, объединённых усреднением

Построение модели случайного леса

Сформируйте бутстрап-выборку из обучающих данных
Для каждой выборки постройте дерево
- В каждом узле выберите лучшую переменную для разбиения (из случайного подмножества всех переменных)
- Продолжайте до полного построения дерева
Чтобы получить предсказание, оцените объект всеми деревьями и усредните результаты.

cnt ~ hr + holiday + workingday + 
  weathersit + temp + atemp + hum + windspeed

model <- ranger(fmla, bikesJan, 
                num.trees = 500, 
                respect.unordered.factors = "order")

formula, data
num.trees (по умолчанию 500) — используйте не менее 200
mtry — количество переменных, проверяемых в каждом узле
- по умолчанию: квадратный корень из общего числа переменных
respect.unordered.factors — рекомендуется значение «order»
- «безопасное» хеширование категориальных переменных

model

Ranger result
...
OOB prediction error (MSE):       3103.623 
R squared (OOB):                  0.7837386

Алгоритм случайного леса возвращает оценки качества на вневыборочных данных.

bikesFeb$pred <- predict(model, bikesFeb)$predictions

Аргументы predict():

Предсказания доступны в элементе predictions.

Вычисление RMSE:

bikesFeb %>% 
  mutate(residual = cnt - pred) %>%
  summarize(rmse = sqrt(mean(residual^2)))

      rmse
1 67.15169

Модель	RMSE
Quasipoisson	69,3
Случайный лес	67,15

Обучение с учителем в R: регрессия