Forêts aléatoires

Apprentissage supervisé en R : régression

Nina Zumel and John Mount

Win-Vector, LCC

Plusieurs arbres de décision variés, moyennés ensemble

Construire un modèle de forêt aléatoire

Tirer un échantillon bootstrap des données d'entraînement
Pour chaque échantillon, faire croître un arbre
- À chaque nœud, choisir la meilleure variable de scission (parmi un sous-ensemble aléatoire de toutes les variables)
- Continuer jusqu'à ce que l'arbre soit complet
Pour évaluer une donnée, la passer dans tous les arbres et moyenner les résultats.

cnt ~ hr + holiday + workingday + 
  weathersit + temp + atemp + hum + windspeed

model <- ranger(fmla, bikesJan, 
                num.trees = 500, 
                respect.unordered.factors = "order")

formula, data
num.trees (par défaut 500) – utilisez au moins 200
mtry – nombre de variables testées à chaque nœud
- par défaut : racine carrée du nombre total de variables
respect.unordered.factors – recommandé : "order"
- hachage « sécuritaire » des variables catégorielles

model

Ranger result
...
OOB prediction error (MSE):       3103.623 
R squared (OOB):                  0.7837386

L'algorithme de forêt aléatoire fournit des estimations de performance hors échantillon.

bikesFeb$pred <- predict(model, bikesFeb)$predictions

Entrées de predict() :

Les prédictions sont accessibles dans l'élément predictions.

Calculer la RMSE :

bikesFeb %>% 
  mutate(residual = cnt - pred) %>%
  summarize(rmse = sqrt(mean(residual^2)))

      rmse
1 67.15169

Modèle	RMSE
Quasipoisson	69.3
Forêts aléatoires	67.15

Apprentissage supervisé en R : régression