Păduri aleatoare

Învățare supervizată în R: Regresia

Nina Zumel and John Mount

Win-Vector, LCC

Mai mulți arbori de decizie diverși, combinați prin mediere

Construirea unui model de pădure aleatoare

Extrageți un eșantion bootstrapped din datele de antrenament
Pentru fiecare eșantion, construiți un arbore
- La fiecare nod, alegeți cea mai bună variabilă pentru divizare (dintr-un subset aleatoriu)
- Continuați până când arborele este complet
Pentru a evalua o observație, aplicați toți arborii și faceți media rezultatelor.

cnt ~ hr + holiday + workingday + 
  weathersit + temp + atemp + hum + windspeed

model <- ranger(fmla, bikesJan, 
                num.trees = 500, 
                respect.unordered.factors = "order")

formula, data
num.trees (implicit 500) - utilizați cel puțin 200
mtry - numărul de variabile testate la fiecare nod
- implicit: rădăcina pătrată a numărului total de variabile
respect.unordered.factors - se recomandă valoarea "order"
- codificare „sigură" a variabilelor categoriale

model

Ranger result
...
OOB prediction error (MSE):       3103.623 
R squared (OOB):                  0.7837386

Algoritmul de pădure aleatoare returnează estimări ale performanței out-of-sample.

bikesFeb$pred <- predict(model, bikesFeb)$predictions

Argumentele predict():

Predițiile sunt accesibile în elementul predictions.

Calculați RMSE:

bikesFeb %>% 
  mutate(residual = cnt - pred) %>%
  summarize(rmse = sqrt(mean(residual^2)))

      rmse
1 67.15169

Model	RMSE
Quasipoisson	69.3
Păduri aleatoare	67.15

Învățare supervizată în R: Regresia