Arbres avec ensachage

Machine Learning avec des modèles arborescents en R

Sandro Raabe

Data Scientist

À plusieurs, on fait mieux

la sagesse de la foule

Machine Learning avec des modèles arborescents en R

Bootstrap et agrégation

  • Bagging = abréviation de Bootstrap Aggregation

 

 1. Bootstrap

  • Échantillonnage avec remise $\rightarrow$ plusieurs ensembles d'entraînement modifiés

 

 2. Agrégation

  • On agrège les prédictions de différents modèles pour la prédiction finale :
    • Moyenne (en régression)
    • Vote majoritaire (en classification)
Machine Learning avec des modèles arborescents en R

Étape 1 : Bootstrap et entraînement

schéma de bootstrap

Machine Learning avec des modèles arborescents en R

Étape 2 : Agréger

agréger les résultats

Machine Learning avec des modèles arborescents en R

Coder : spécifier les arbres ensachés

library(baguette)
spec_bagged <- bag_tree() %>%

    set_mode("classification") %>%

    set_engine("rpart", times = 100)

Spécification du modèle d'arbre de décision avec ensachage (classification)

Arguments principaux :
  cost_complexity = 0
  min_n = 2

Arguments propres au moteur :
  times = 100

Moteur de calcul : rpart
Machine Learning avec des modèles arborescents en R

Entraîner tous les arbres

model_bagged <- fit(spec_bagged, formula = still_customer ~ ., data = customers_train)

objet de modèle parsnip

Temps d'ajustement :  23.9s

CART avec ensachage (classification avec 100 membres)

Les scores d'importance des variables incluent :

# A tibble: 19 x 4
   term                     value std.error  used
   <chr>                    <dbl>     <dbl> <int>
 1 total_trans_ct           876.      3.93    100
 2 total_trans_amt          800.      4.54    100
 3 total_revolving_bal      491.      3.67    100
Machine Learning avec des modèles arborescents en R

Passons au bootstrap !

Machine Learning avec des modèles arborescents en R

Preparing Video For Download...