Інтуїція методів на деревах

Кероване навчання в R: регресія

Nina Zumel and John Mount

Win-Vector, LLC

Приклад: прогноз інтелекту тварин за Gestation Time та Litter Size

Кероване навчання в R: регресія

Дерева рішень

Правила вигляду:

  • if a AND b AND c THEN y

Нелінійні концепції

  • інтервали
  • немонотонні зв'язки

неадитивні взаємодії

  • AND: подібно до множення
Кероване навчання в R: регресія

Дерева рішень

  • IF Litter < 1.15 AND Gestation $\ge$ 268 $\rightarrow$ intelligence = 0.315
  • IF Litter IN [1.15, 4.3) $\rightarrow$ intelligence = 0.131
Кероване навчання в R: регресія

Дерева рішень

Перевага: дерева мають виразний простір концептів

Model RMSE
linear 0.1200419
tree 0.1072732
Кероване навчання в R: регресія

Дерева рішень

Недолік: грубі передбачення

Кероване навчання в R: регресія

Деревам складно виразити лінійні залежності

Дерева прогнозують осі-вирівняні області

Кожен колір — інше передбачене значення

Кероване навчання в R: регресія

Деревам складно виразити лінійні залежності

Лінії важко відтворити «сходинками»

Кероване навчання в R: регресія

Інші проблеми дерев

  • Дерево з надто багатьма розщепленнями (глибоке дерево):
    • Надто складне — ризик перенавчання
  • Дерево з замалою кількістю розщеплень (мілке дерево):
    • Передбачення занадто грубі
Кероване навчання в R: регресія

Ансамблі дерев

Ансамблі дають точніші передбачення, ніж окремі дерева

Кероване навчання в R: регресія

Ансамблі дерев

Ансамбль краще підганяє дані про інтелект тварин, ніж одне дерево

Model RMSE
linear 0.1200419
tree 0.1072732
random forest 0.0901681
Кероване навчання в R: регресія

Давайте потренуємось!

Кероване навчання в R: регресія

Preparing Video For Download...