Интуиция за древовидными методами

Обучение с учителем в R: регрессия

Nina Zumel and John Mount

Win-Vector, LLC

Пример: предсказание интеллекта животных по времени беременности и размеру помёта

Обучение с учителем в R: регрессия

Деревья решений

Правила вида:

  • если a И b И c, ТО y

Нелинейные концепции:

  • интервалы
  • немонотонные зависимости

Неаддитивные взаимодействия:

  • И: аналог умножения
Обучение с учителем в R: регрессия

Деревья решений

  • ЕСЛИ Помёт < 1.15 И Беременность $\ge$ 268 $\rightarrow$ интеллект = 0.315
  • ЕСЛИ Помёт $\in$ [1.15, 4.3) $\rightarrow$ интеллект = 0.131
Обучение с учителем в R: регрессия

Деревья решений

Плюс: деревья обладают богатым пространством концепций

Модель RMSE
линейная 0.1200419
дерево 0.1072732
Обучение с учителем в R: регрессия

Деревья решений

Минус: грубозернистые предсказания

Обучение с учителем в R: регрессия

Деревьям сложно выразить линейные зависимости

Деревья предсказывают прямоугольные области

Каждый цвет соответствует отдельному предсказанному значению

Обучение с учителем в R: регрессия

Деревьям сложно выразить линейные зависимости

Ступеньками сложно аппроксимировать прямую

Обучение с учителем в R: регрессия

Другие проблемы деревьев

  • Дерево с избыточным числом разбиений (глубокое):
    • Слишком сложное — риск переобучения
  • Дерево с малым числом разбиений (мелкое):
    • Предсказания слишком грубые
Обучение с учителем в R: регрессия

Ансамбли деревьев

Ансамбли дают более точные предсказания, чем отдельное дерево

Обучение с учителем в R: регрессия

Ансамбли деревьев

Ансамблевая модель лучше описывает данные об интеллекте животных

Модель RMSE
линейная 0.1200419
дерево 0.1072732
случайный лес 0.0901681
Обучение с учителем в R: регрессия

Давайте потренируемся!

Обучение с учителем в R: регрессия

Preparing Video For Download...