Intuice za stromovými metodami

Supervised Learning in R: Regression

Nina Zumel and John Mount

Win-Vector, LLC

Příklad: Předpověď inteligence zvířat z doby březosti a velikosti vrhu

Supervised Learning in R: Regression

Rozhodovací stromy

Pravidla ve tvaru:

  • if a AND b AND c THEN y

Nelineární koncepty

  • intervaly
  • nemonotonní vztahy

Neaditivní interakce

  • AND: podobné násobení
Supervised Learning in R: Regression

Rozhodovací stromy

  • IF Litter < 1.15 AND Gestation $\ge$ 268 $\rightarrow$ intelligence = 0.315
  • IF Litter IN [1.15, 4.3) $\rightarrow$ intelligence = 0.131
Supervised Learning in R: Regression

Rozhodovací stromy

Výhoda: Stromy mají expresivní prostor konceptů

Model RMSE
linear 0.1200419
tree 0.1072732
Supervised Learning in R: Regression

Rozhodovací stromy

Nevýhoda: Hrubozrnné predikce

Supervised Learning in R: Regression

Stromy obtížně vyjadřují lineární vztahy

Stromy predikují osově zarovnané oblasti

Každá barva představuje jinou predikovanou hodnotu

Supervised Learning in R: Regression

Stromy obtížně vyjadřují lineární vztahy

Přímky je těžké vyjádřit pomocí schodů

Supervised Learning in R: Regression

Další problémy stromů

  • Strom s příliš mnoha větvemi (hluboký strom):
    • Příliš složitý – riziko přetrénování
  • Strom s příliš málo větvemi (mělký strom):
    • Predikce jsou příliš hrubozrnné
Supervised Learning in R: Regression

Ensemble stromů

Ensemble poskytuje jemnozrnnější predikce než jednotlivý strom

Supervised Learning in R: Regression

Ensemble stromů

Ensemble model lépe odpovídá datům o inteligenci zvířat než jednotlivý strom

Model RMSE
linear 0.1200419
tree 0.1072732
random forest 0.0901681
Supervised Learning in R: Regression

Pojďme si procvičit!

Supervised Learning in R: Regression

Preparing Video For Download...