Random forests

Övervakad inlärning i R: Regression

Nina Zumel and John Mount

Win-Vector, LCC

Random Forests

Flera olika beslutsträd kombineras och medelvärdesbildas

Dra ett bootstrappat urval från träningsdata
Bygg ett träd för varje urval
- Vid varje nod väljs den bästa variabeln att dela på (från en slumpmässig delmängd av alla variabler)
- Fortsätt tills trädet är färdigbyggt
För att poängsätta ett datapunkt utvärderas den med alla träd och resultaten medelvärdesbildas.

cnt ~ hr + holiday + workingday + 
  weathersit + temp + atemp + hum + windspeed

model <- ranger(fmla, bikesJan, 
                num.trees = 500, 
                respect.unordered.factors = "order")

formula, data
num.trees (standard 500) – använd minst 200
mtry – antal variabler att testa vid varje nod
- standard: kvadratroten av det totala antalet variabler
respect.unordered.factors – rekommenderas sättas till "order"
- "säker" hashning av kategoriska variabler

model

Ranger result
...
OOB prediction error (MSE):       3103.623 
R squared (OOB):                  0.7837386

Random forest-algoritmen returnerar uppskattningar av prestanda utanför stickprovet.

bikesFeb$pred <- predict(model, bikesFeb)$predictions

Indata till predict():

Prediktionerna nås via elementet predictions.

Beräkna RMSE:

bikesFeb %>% 
  mutate(residual = cnt - pred) %>%
  summarize(rmse = sqrt(mean(residual^2)))

      rmse
1 67.15169

Modell	RMSE
Quasipoisson	69,3
Random forests	67,15

Övervakad inlärning i R: Regression