Die Intuition hinter baumbasierten Methoden

Überwachtes Lernen in R: Regression

Nina Zumel and John Mount

Win-Vector, LLC

Beispiel: Tierintelligenz aus Tragezeit und Wurfgröße vorhersagen

Überwachtes Lernen in R: Regression

Entscheidungsbäume

Regeln der Form:

  • wenn a UND b UND c DANN y

Nichtlineare Konzepte

  • Intervalle
  • nicht-monotone Beziehungen

nicht-additive Interaktionen

  • UND: ähnlich wie Multiplikation
Überwachtes Lernen in R: Regression

Entscheidungsbäume

  • WENN Litter < 1.15 UND Gestation $\ge$ 268 $\rightarrow$ intelligence = 0.315
  • WENN Litter IN [1.15, 4.3) $\rightarrow$ intelligence = 0.131
Überwachtes Lernen in R: Regression

Entscheidungsbäume

Pro: Bäume haben einen ausdrucksstarken Konzeptraum

Model RMSE
linear 0.1200419
tree 0.1072732
Überwachtes Lernen in R: Regression

Entscheidungsbäume

Kontra: Grobkörnige Vorhersagen

Überwachtes Lernen in R: Regression

Für Bäume sind lineare Beziehungen schwer auszudrücken

Bäume sagen achsenparallele Regionen voraus

Jede Farbe steht für einen anderen vorhergesagten Wert

Überwachtes Lernen in R: Regression

Für Bäume sind lineare Beziehungen schwer auszudrücken

Linien mit Stufen auszudrücken ist schwer

Überwachtes Lernen in R: Regression

Weitere Probleme mit Bäumen

  • Baum mit zu vielen Splits (tiefer Baum):
    • Zu komplex – Gefahr von Overfitting
  • Baum mit zu wenigen Splits (flacher Baum):
    • Vorhersagen zu grobkörnig
Überwachtes Lernen in R: Regression

Ensembles von Bäumen

Ensembles liefern feinere Vorhersagen als Einzelbäume

Überwachtes Lernen in R: Regression

Ensembles von Bäumen

Ensemble-Modell passt Tierintelligenz-Daten besser als Einzelbaum

Model RMSE
linear 0.1200419
tree 0.1072732
random forest 0.0901681
Überwachtes Lernen in R: Regression

Lass uns üben!

Überwachtes Lernen in R: Regression

Preparing Video For Download...