Forêts aléatoires

Apprentissage supervisé en R : Régression

Nina Zumel and John Mount

Win-Vector, LCC

Plusieurs arbres de décision variés moyennés ensemble

Construire un modèle de Forêt aléatoire

Tirer un échantillon bootstrap des données d'entraînement
Pour chaque échantillon, faire pousser un arbre
- À chaque nœud, choisir la meilleure variable de coupure (dans un sous-ensemble aléatoire de toutes les variables)
- Continuer jusqu'à l'arbre complet
Pour scorer une donnée, l'évaluer avec tous les arbres et moyenner les résultats.

cnt ~ hr + holiday + workingday + 
  weathersit + temp + atemp + hum + windspeed

model <- ranger(fmla, bikesJan, 
                num.trees = 500, 
                respect.unordered.factors = "order")

formula, data
num.trees (500 par défaut) : utilisez au moins 200
mtry : nombre de variables testées à chaque nœud
- par défaut : racine carrée du nombre total de variables
respect.unordered.factors : recommandé : "order"
- hachage « sûr » des variables catégorielles

model

Ranger result
...
OOB prediction error (MSE):       3103.623 
R squared (OOB):                  0.7837386

L'algorithme de forêt aléatoire fournit des estimations des performances hors échantillon.

bikesFeb$pred <- predict(model, bikesFeb)$predictions

Entrées de predict() :

Les prédictions sont accessibles dans l'élément predictions.

Calculer la RMSE :

bikesFeb %>% 
  mutate(residual = cnt - pred) %>%
  summarize(rmse = sqrt(mean(residual^2)))

      rmse
1 67.15169

Modèle	RMSE
Quasipoisson	69.3
Forêts aléatoires	67.15

Apprentissage supervisé en R : Régression