Intuition bakom trädbaserade metoder

Övervakad inlärning i R: Regression

Nina Zumel and John Mount

Win-Vector, LLC

Exempel: Förutsäg djurintelligens från dräktighetstid och kullstorlek

Övervakad inlärning i R: Regression

Beslutsträd

Regler av typen:

  • if a AND b AND c THEN y

Icke-linjära begrepp

  • intervall
  • icke-monotona samband

Icke-additiva interaktioner

  • AND: liknar multiplikation
Övervakad inlärning i R: Regression

Beslutsträd

  • IF Litter < 1.15 AND Gestation $\ge$ 268 $\rightarrow$ intelligence = 0.315
  • IF Litter IN [1.15, 4.3) $\rightarrow$ intelligence = 0.131
Övervakad inlärning i R: Regression

Beslutsträd

Fördel: Träd har ett Uttrycksfullt konceptutrymme

Modell RMSE
linjär 0.1200419
träd 0.1072732
Övervakad inlärning i R: Regression

Beslutsträd

Nackdel: Grova förutsägelser

Övervakad inlärning i R: Regression

Träd hanterar linjära samband dåligt

Träd förutsäger axelparallella regioner

Varje färg representerar ett unikt förutsagt värde

Övervakad inlärning i R: Regression

Träd hanterar linjära samband dåligt

Det är svårt att uttrycka linjer med steg

Övervakad inlärning i R: Regression

Andra problem med träd

  • Träd med för många delningar (djupt träd):
    • För komplext – risk för överanpassning
  • Träd med för få delningar (grunt träd):
    • Förutsägelserna för grova
Övervakad inlärning i R: Regression

Ensembler av träd

Ensembler ger finare förutsägelser än enstaka träd

Övervakad inlärning i R: Regression

Ensembler av träd

Ensemblemodellen passar djurintelligensdata bättre än ett enstaka träd

Modell RMSE
linjär 0.1200419
träd 0.1072732
random forest 0.0901681
Övervakad inlärning i R: Regression

Nu kör vi en övning!

Övervakad inlärning i R: Regression

Preparing Video For Download...