Optimiser l'ensemble boosté

Machine Learning avec des modèles à base d’arbres en R

Sandro Raabe

Data Scientist

Point de départ : performance sans réglage

collect_metrics(cv_results)

# A tibble: 1 x 3
  .metric   .mean       n   
  <chr>     <dbl>   <int>             
1 roc_auc   0.951       5
  • 95 % : pas mal pour un modèle non ajusté !
Machine Learning avec des modèles à base d’arbres en R

Flux de travail de réglage

fonction tune

Machine Learning avec des modèles à base d’arbres en R

Flux de travail de réglage

génération de grille

Machine Learning avec des modèles à base d’arbres en R

Flux de travail de réglage

validation croisée

Machine Learning avec des modèles à base d’arbres en R

Flux de travail de réglage

fonction tune_grid

Machine Learning avec des modèles à base d’arbres en R

Flux de travail de réglage

fonction select_best

Machine Learning avec des modèles à base d’arbres en R

Flux de travail de réglage

flux de travail de réglage

Machine Learning avec des modèles à base d’arbres en R

Flux de travail de réglage

fonction final fit

Machine Learning avec des modèles à base d’arbres en R

Étape 1 : créer la spécification de réglage

# Créer la spécification avec des espaces réservés
boost_spec <- boost_tree(

    trees = 500,
    learn_rate = tune(),
    tree_depth = tune(),
    sample_size = tune()) %>%

  set_mode("classification") %>%
  set_engine("xgboost")

Spécification de modèle d'arbres boostés (classification)

Arguments principaux :
  trees = 500
  tree_depth = tune()
  learn_rate = tune()
  sample_size = tune()

Moteur de calcul : xgboost
  • Spécification habituelle
  • Différence clé : utiliser tune() pour définir des espaces réservés aux valeurs à régler
Machine Learning avec des modèles à base d’arbres en R

Étape 2 : créer la grille de réglage

# Créer une grille régulière
tunegrid_boost <- grid_regular(parameters(boost_spec), 

                               levels = 2)

# A tibble: 8 x 3
  tree_depth     learn_rate sample_size
       <int>          <dbl>       <dbl>
1          1   0.0000000001         0.1
2         15   0.0000000001         0.1
3          1   0.1                  0.1
4         15   0.1                  0.1
5          1   0.0000000001         1  
6         15   0.0000000001         1  
7          1   0.1                  1  
8         15   0.1                  1

# Créer une grille aléatoire
grid_random(parameters(boost_spec),

            size = 8)

# A tibble: 8 x 3
  tree_depth    learn_rate   sample_size
       <int>         <dbl>         <dbl>
1         11   0.0000000249        0.858
2         12   0.00000000392       0.856
3         15   0.0000000131        0.220
4         15   0.0000216           0.125
5         10   0.00000000537       0.759
6         14   0.0395              0.270
7          2   0.000000828         0.904
8          9   0.0000254           0.473
Machine Learning avec des modèles à base d’arbres en R

Étape 3 : le réglage

Arguments de tune_grid() :

  • Spécification factice
  • Formule du modèle
  • Échantillons/volets
  • Grille de paramètres
  • Liste de métriques dans metric_set()

Appel de fonction :

# Régler selon la grille
tune_results <- tune_grid(

    boost_spec,

    still_customer ~ .,

    resamples = vfold_cv(customers_train, v = 6),

    grid = tunegrid_boost,

    metrics = metric_set(roc_auc))
Machine Learning avec des modèles à base d’arbres en R

Visualiser le résultat

# Visualiser les résultats
autoplot(tune_results)

résultats du réglage

Machine Learning avec des modèles à base d’arbres en R

Étape 4 : finaliser le modèle

# Sélectionner les hyperparamètres finaux
best_params <- select_best(tune_results)

best_params

# A tibble: 1 x 4
  tree_depth learn_rate sample_size .config
       <int>      <dbl>       <dbl> <chr> 
1          8        0.1        0.55 Model17

# Finaliser la spécification
final_spec <- finalize_model(boost_spec, 
                             best_params)
final_spec

Spécification de modèle d'arbres boostés

Arguments principaux :
  trees = 500
  tree_depth = 8
  learn_rate = 0.1
  sample_size = 0.55

Moteur de calcul : xgboost
Machine Learning avec des modèles à base d’arbres en R

Dernière étape : entraîner le modèle final

final_model <- final_spec %>% fit(formula = still_customer ~ .,
                                  data = customers_train)

final_model

Temps d'ajustement : 2,3 s 
##### xgb.Booster
raw: 343.8 Kb 
nfeatures : 37 
evaluation_log:
    iter training_error
       1       0.046403                  
     100       0.002592
Machine Learning avec des modèles à base d’arbres en R

À vous de jouer !

Machine Learning avec des modèles à base d’arbres en R

Preparing Video For Download...