Intuicja stojąca za metodami opartymi na drzewach

Nadzorowane uczenie maszynowe w R: regresja

Nina Zumel and John Mount

Win-Vector, LLC

Przykład: przewidywanie inteligencji zwierząt na podstawie czasu ciąży i liczebności miotu

Nadzorowane uczenie maszynowe w R: regresja

Drzewa decyzyjne

Reguły w postaci:

  • jeśli a ORAZ b ORAZ c, TO y

Koncepty nieliniowe

  • przedziały
  • zależności niemonotoniczne

Interakcje nieaddytywne

  • ORAZ: podobne do mnożenia
Nadzorowane uczenie maszynowe w R: regresja

Drzewa decyzyjne

  • JEŚLI Litter < 1.15 ORAZ Gestation $\ge$ 268 $\rightarrow$ intelligence = 0.315
  • JEŚLI Litter IN [1.15, 4.3) $\rightarrow$ intelligence = 0.131
Nadzorowane uczenie maszynowe w R: regresja

Drzewa decyzyjne

Zaleta: Drzewa mają ekspresywną przestrzeń konceptów

Model RMSE
linear 0.1200419
tree 0.1072732
Nadzorowane uczenie maszynowe w R: regresja

Drzewa decyzyjne

Wada: Prognozy gruboziarniste

Nadzorowane uczenie maszynowe w R: regresja

Drzewa słabo wyrażają zależności liniowe

Drzewa przewidują regiony wyrównane do osi

Każdy kolor to inna przewidywana wartość

Nadzorowane uczenie maszynowe w R: regresja

Drzewa słabo wyrażają zależności liniowe

Trudno wyrazić linie za pomocą schodków

Nadzorowane uczenie maszynowe w R: regresja

Inne problemy z drzewami

  • Drzewo z za dużą liczbą podziałów (głębokie):
    • Zbyt złożone – ryzyko przeuczenia
  • Drzewo z za małą liczbą podziałów (płytkie):
    • Prognozy zbyt gruboziarniste
Nadzorowane uczenie maszynowe w R: regresja

Ensembles drzew

Ensembles dają dokładniejsze prognozy niż pojedyncze drzewa

Nadzorowane uczenie maszynowe w R: regresja

Ensembles drzew

Model ensemble lepiej dopasowuje dane o inteligencji zwierząt niż pojedyncze drzewo

Model RMSE
linear 0.1200419
tree 0.1072732
random forest 0.0901681
Nadzorowane uczenie maszynowe w R: regresja

Czas na ćwiczenia!

Nadzorowane uczenie maszynowe w R: regresja

Preparing Video For Download...