Random Forests

Überwachtes Lernen in R: Regression

Nina Zumel and John Mount

Win-Vector, LCC

Mehrere unterschiedliche Entscheidungsbäume gemittelt

Ein Random-Forest-Modell bauen

Bootstrap-Stichprobe aus den Trainingsdaten ziehen
Für jede Stichprobe einen Baum wachsen lassen
- An jedem Knoten die beste Variable zum Split wählen (aus einer zufälligen Teilmenge aller Variablen)
- Fortsetzen, bis der Baum ausgewachsen ist
Zum Bewerten einen Datenpunkt durch alle Bäume schicken und die Ergebnisse mitteln.

cnt ~ hr + holiday + workingday + 
  weathersit + temp + atemp + hum + windspeed

model <- ranger(fmla, bikesJan, 
                num.trees = 500, 
                respect.unordered.factors = "order")

formula, data
num.trees (Standard 500) – nutze mindestens 200
mtry – Anzahl der Variablen, die an jedem Knoten ausprobiert werden
- Standard: Quadratwurzel der Gesamtzahl der Variablen
respect.unordered.factors – empfohlen: auf "order" setzen
- „sicheres" Hashing kategorialer Variablen

model

Ranger result
...
OOB prediction error (MSE):       3103.623 
R squared (OOB):                  0.7837386

Der Random-Forest-Algorithmus liefert Schätzungen der Out-of-Sample-Leistung.

bikesFeb$pred <- predict(model, bikesFeb)$predictions

Eingaben für predict():

Vorhersagen findest du im Element predictions.

RMSE berechnen:

bikesFeb %>% 
  mutate(residual = cnt - pred) %>%
  summarize(rmse = sqrt(mean(residual^2)))

      rmse
1 67.15169

Modell	RMSE
Quasipoisson	69.3
Random Forests	67.15

Überwachtes Lernen in R: Regression