Náhodné lesy

Supervised Learning in R: Regression

Nina Zumel and John Mount

Win-Vector, LCC

Průměr více různorodých rozhodovacích stromů

Sestavení modelu náhodného lesa

Náhodný výběr (bootstrap) z trénovacích dat
Pro každý vzorek se pěstuje strom
- V každém uzlu se vybere nejlepší proměnná pro rozdělení (z náhodné podmnožiny všech proměnných)
- Pokračuje se až do úplného růstu stromu
Při skórování záznamu se vyhodnotí všemi stromy a výsledky se zprůměrují.

cnt ~ hr + holiday + workingday + 
  weathersit + temp + atemp + hum + windspeed

model <- ranger(fmla, bikesJan, 
                num.trees = 500, 
                respect.unordered.factors = "order")

formula, data
num.trees (výchozí 500) – použijte alespoň 200
mtry – počet proměnných testovaných v každém uzlu
- výchozí: druhá odmocnina celkového počtu proměnných
respect.unordered.factors – doporučeno nastavit na "order"
- „bezpečné" hashování kategorických proměnných

model

Ranger result
...
OOB prediction error (MSE):       3103.623 
R squared (OOB):                  0.7837386

Algoritmus náhodného lesa vrací odhady výkonu na nových datech.

bikesFeb$pred <- predict(model, bikesFeb)$predictions

predict() vstupy:

Předpovědi jsou přístupné v elementu predictions.

Výpočet RMSE:

bikesFeb %>% 
  mutate(residual = cnt - pred) %>%
  summarize(rmse = sqrt(mean(residual^2)))

      rmse
1 67.15169

Model	RMSE
Quasipoisson	69,3
Náhodné lesy	67,15

Supervised Learning in R: Regression