Intuiția din spatele metodelor bazate pe arbori

Învățare supervizată în R: Regresia

Nina Zumel and John Mount

Win-Vector, LLC

Exemplu: Predicția inteligenței animalelor din Durata Gestației și Mărimea Literei

Învățare supervizată în R: Regresia

Arbori de decizie

Reguli de forma:

  • dacă a ȘI b ȘI c ATUNCI y

Concepte nelineare

  • intervale
  • relații nemonotone

Interacțiuni neaditive

  • ȘI: similar cu înmulțirea
Învățare supervizată în R: Regresia

Arbori de decizie

  • DACĂ Litieră < 1.15 ȘI Gestație $\ge$ 268 $\rightarrow$ inteligență = 0.315
  • DACĂ Litieră ÎN [1.15, 4.3) $\rightarrow$ inteligență = 0.131
Învățare supervizată în R: Regresia

Arbori de decizie

Avantaj: Arborii au un Spațiu Conceptual Expresiv

Model RMSE
linear 0.1200419
tree 0.1072732
Învățare supervizată în R: Regresia

Arbori de decizie

Dezavantaj: Predicții Grosiere

Învățare supervizată în R: Regresia

Arborii exprimă greu relații liniare

Arborii prezic regiuni aliniate pe axe

Fiecare culoare reprezintă o valoare prezisă diferită

Învățare supervizată în R: Regresia

Arborii exprimă greu relații liniare

Este greu să exprimi linii prin trepte

Învățare supervizată în R: Regresia

Alte probleme ale arborilor

  • Arbore cu prea multe împărțiri (adânc):
    • Prea complex - risc de supraajustare
  • Arbore cu prea puține împărțiri (superficial):
    • Predicții prea grosiere
Învățare supervizată în R: Regresia

Ansambluri de arbori

Ansamblurile oferă predicții mai fine decât arborii individuali

Învățare supervizată în R: Regresia

Ansambluri de arbori

Modelul ansamblu se potrivește mai bine datelor privind inteligența animalelor

Model RMSE
linear 0.1200419
tree 0.1072732
random forest 0.0901681
Învățare supervizată în R: Regresia

Să exersăm!

Învățare supervizată în R: Regresia

Preparing Video For Download...