Gradient Boosting Machines

Überwachtes Lernen in R: Regression

Nina Zumel and John Mount

Win-Vector, LLC

So funktioniert Gradient Boosting

Passe einen flachen Baum $T_1$ an die Daten an: $M_1 = T_1$

So funktioniert Gradient Boosting

Passe einen flachen Baum $T_1$ an die Daten an: $M_1 = T_1$
Passe einen Baum $T_2$ an die Residuen an. Finde $\gamma$ so, dass $M_2 = M_1 + \gamma T_2$ die beste Anpassung an die Daten ist

So funktioniert Gradient Boosting

Regularisierung: Lernrate $\eta \in(0,1)$

$$ M_2 = M_1 + \eta \gamma T_2 $$

Größeres $\eta$: schnelleres Lernen
Kleineres $\eta$: geringeres Overfitting-Risiko

So funktioniert Gradient Boosting

Passe einen flachen Baum $T_1$ an die Daten an
- $M_1 = T_1$
Passe einen Baum $T_2$ an die Residuen an.
- $M_2 = M_1 + \eta \gamma_2 T_2$
Wiederhole (2), bis die Stoppbedingung erfüllt ist

Endgültiges Modell:

$$ M = M_1 + \eta \sum \gamma_i T_i $$

Cross-Validation gegen Overfitting

Trainingsfehler sinkt weiter, Testfehler nicht

Best Practice (mit xgboost())

Führe xgb.cv() mit vielen Runden (Bäumen) aus.

Best Practice (mit xgboost())

Führe xgb.cv() mit vielen Runden (Bäumen) aus.
xgb.cv()$evaluation_log: protokolliert die geschätzte RMSE je Runde.
- Finde die Baumanzahl mit minimaler RMSE: $n_{best}$

Best Practice (mit xgboost())

Führe xgb.cv() mit vielen Runden (Bäumen) aus.
xgb.cv()$evaluation_log: protokolliert die geschätzte RMSE je Runde.
- Finde die Baumanzahl mit minimaler RMSE: $n_{best}$
Führe xgboost() aus und setze nrounds = $n_{best}$

Beispiel: Bike-Rental-Modell

Zuerst die Daten vorbereiten

treatplan <- designTreatmentsZ(bikesJan, vars)
newvars <- treatplan$scoreFrame %>%
     filter(code %in% c("clean", "lev")) %>%
     use_series(varName)

bikesJan.treat <- prepare(treatplan, bikesJan, varRestriction = newvars)

Für xgboost():

Eingabedaten: as.matrix(bikesJan.treat)
Zielvariable: bikesJan$cnt

Ein Modell mit xgboost() / xgb.cv() trainieren

cv <- xgb.cv(data = as.matrix(bikesJan.treat), label = bikesJan$cnt,
              objective = "reg:squarederror",
              nrounds = 100, nfold = 5, eta = 0.3, max_depth = 6)

Wichtige Inputs für xgb.cv() und xgboost()

data: Eingabedaten als Matrix ; label: Zielvariable
objective: für Regression – "reg:squarederror"
nrounds: maximale Anzahl zu fitten Bäume
eta: Lernrate
max_depth: maximale Tiefe einzelner Bäume
nfold (nur xgb.cv()): Anzahl Folds fürs Cross-Validation

Die richtige Anzahl Bäume finden

elog <- as.data.frame(cv$evaluation_log)
(nrounds <- which.min(elog$test_rmse_mean))

xgboost() fürs Endmodell ausführen

nrounds <- 78

model <- xgboost(data = as.matrix(bikesJan.treat), 
                 label = bikesJan$cnt,
                 nrounds = nrounds,
                 objective = "reg:squarederror",
                 eta = 0.3,
                 max_depth = 6)

Mit einem xgboost()-Modell vorhersagen

Februar-Daten vorbereiten und vorhersagen

bikesFeb.treat <- prepare(treatplan, bikesFeb, varRestriction = newvars)

bikesFeb$pred <- predict(model, as.matrix(bikesFeb.treat))

Modellgüte auf Februar-Daten

Model	RMSE
Quasipoisson	69.3
Random forests	67.15
Gradient Boosting	54.0

Ergebnisse visualisieren

Vorhersagen vs. tatsächliche Bike-Verleihzahlen, Februar

Vorhersagen und stündliche Bike-Verleihzahlen, Februar

Lass uns üben!

Überwachtes Lernen in R: Regression