Einführung in Boosting

Maschinelles Lernen mit baumbasierten Modellen in R

Sandro Raabe

Data Scientist

einzelner Klassifikator

Maschinelles Lernen mit baumbasierten Modellen in R

Bagging oder Random Forest

Maschinelles Lernen mit baumbasierten Modellen in R

Boosting 1

Maschinelles Lernen mit baumbasierten Modellen in R

Boosting 2

Maschinelles Lernen mit baumbasierten Modellen in R

Boosting 3

Maschinelles Lernen mit baumbasierten Modellen in R

Boosting 4

Maschinelles Lernen mit baumbasierten Modellen in R

Adaboost

  • Erstes bekanntes Boosting-Verfahren: Adaboost = Adaptive Boosting
  • Idee: Gewicht falsch klassifizierter Trainingsbeispiele in späteren Durchläufen anpassen

Adaboost-Visualisierung 1

Maschinelles Lernen mit baumbasierten Modellen in R

Adaboost

  • Erstes bekanntes Boosting-Verfahren: Adaboost = Adaptive Boosting
  • Idee: Gewicht falsch klassifizierter Trainingsbeispiele in späteren Durchläufen anpassen

Adaboost-Visualisierung 2

Maschinelles Lernen mit baumbasierten Modellen in R

Adaboost

  • Erstes bekanntes Boosting-Verfahren: Adaboost = Adaptive Boosting
  • Idee: Gewicht falsch klassifizierter Trainingsbeispiele in späteren Durchläufen anpassen

Adaboost-Visualisierung 3

Maschinelles Lernen mit baumbasierten Modellen in R

Adaboost

  • Erstes bekanntes Boosting-Verfahren: Adaboost = Adaptive Boosting
  • Idee: Gewicht falsch klassifizierter Trainingsbeispiele in späteren Durchläufen anpassen

Adaboost-Visualisierung 4

  • Verbessert durch Gradient Descent
Maschinelles Lernen mit baumbasierten Modellen in R

Coding: Ein Boosting-Ensemble spezifizieren

# Specify the model class
boost_tree() %>%

# Set the mode set_mode("classification") %>%
# Set the engine set_engine("xgboost")
Boosted Tree Model Specification (classification)

Computational engine: xgboost
  • Einfache Boosting-Schnittstelle über tidymodels!
Maschinelles Lernen mit baumbasierten Modellen in R

Lass uns boosten!

Maschinelles Lernen mit baumbasierten Modellen in R

Preparing Video For Download...