Bagged Trees

Maschinelles Lernen mit baumbasierten Modellen in R

Sandro Raabe

Data Scientist

Viele Köpfe wissen mehr als einer

die Weisheit der Vielen

Maschinelles Lernen mit baumbasierten Modellen in R

Bootstrap & Aggregation

  • Bagging = kurz für Bootstrap Aggregation

 

 1. Bootstrapping

  • Stichproben mit Zurücklegen $\rightarrow$ viele veränderte Trainingssätze

 

 2. Aggregation

  • Vorhersagen verschiedener Modelle werden zur Endvorhersage kombiniert:
    • Mittelwert (bei Regression)
    • Mehrheitsentscheid (bei Klassifikation)
Maschinelles Lernen mit baumbasierten Modellen in R

Schritt 1: Bootstrap und trainieren

Bootstrapping-Schema

Maschinelles Lernen mit baumbasierten Modellen in R

Schritt 2: Aggregieren

Ergebnisse aggregieren

Maschinelles Lernen mit baumbasierten Modellen in R

Coding: Bagged Trees spezifizieren

library(baguette)
spec_bagged <- bag_tree() %>%

    set_mode("classification") %>%

    set_engine("rpart", times = 100)

Spezifikation eines Bagged Decision Tree Modells (classification)

Hauptargumente:
  cost_complexity = 0
  min_n = 2

Engine-spezifische Argumente:
  times = 100

Rechen-Engine: rpart
Maschinelles Lernen mit baumbasierten Modellen in R

Alle Bäume trainieren

model_bagged <- fit(spec_bagged, formula = still_customer ~ ., data = customers_train)

parsnip Modellobjekt

Trainingszeit:  23,9 s

Bagged CART (Klassifikation mit 100 Mitgliedern)

Enthaltene Variablenwichtigkeiten:

# A tibble: 19 x 4
   term                     value std.error  used
   <chr>                    <dbl>     <dbl> <int>
 1 total_trans_ct           876.      3.93    100
 2 total_trans_amt          800.      4.54    100
 3 total_revolving_bal      491.      3.67    100
Maschinelles Lernen mit baumbasierten Modellen in R

Lass uns bootstrappen!

Maschinelles Lernen mit baumbasierten Modellen in R

Preparing Video For Download...