Lasy losowe

Nadzorowane uczenie maszynowe w R: regresja

Nina Zumel and John Mount

Win-Vector, LCC

Wiele zróżnicowanych drzew decyzyjnych uśrednionych razem

Budowanie modelu lasu losowego

Pobierz próbkę bootstrapową z danych treningowych
Dla każdej próbki zbuduj drzewo
- W każdym węźle wybierz najlepszą zmienną do podziału (z losowego podzbioru wszystkich zmiennych)
- Kontynuuj aż drzewo zostanie zbudowane
Aby ocenić obserwację, oceń ją za pomocą wszystkich drzew i uśrednij wyniki.

cnt ~ hr + holiday + workingday + 
  weathersit + temp + atemp + hum + windspeed

model <- ranger(fmla, bikesJan, 
                num.trees = 500, 
                respect.unordered.factors = "order")

formula, data
num.trees (domyślnie 500) — należy użyć co najmniej 200
mtry — liczba zmiennych testowanych w każdym węźle
- domyślnie: pierwiastek kwadratowy z łącznej liczby zmiennych
respect.unordered.factors — zalecane ustawienie: "order"
- "bezpieczne" kodowanie zmiennych kategorycznych

model

Ranger result
...
OOB prediction error (MSE):       3103.623 
R squared (OOB):                  0.7837386

Algorytm lasu losowego zwraca szacunkowe miary wydajności pozapróbkowej.

bikesFeb$pred <- predict(model, bikesFeb)$predictions

predict() — argumenty:

Predykcje są dostępne w elemencie predictions.

Obliczenie RMSE:

bikesFeb %>% 
  mutate(residual = cnt - pred) %>%
  summarize(rmse = sqrt(mean(residual^2)))

      rmse
1 67.15169

Model	RMSE
Quasipoisson	69.3
Lasy losowe	67.15

Nadzorowane uczenie maszynowe w R: regresja