Обзор регрессии

Экстремальный градиентный бустинг с XGBoost

Sergey Fogelson

Head of Data Science, TelevisaUnivision

Основы регрессии

  • Результат — вещественное число

Экстремальный градиентный бустинг с XGBoost

Распространённые метрики регрессии

  • Среднеквадратичная ошибка (RMSE)
  • Средняя абсолютная ошибка (MAE)
Экстремальный градиентный бустинг с XGBoost

Вычисление RMSE

Факт Прогноз
10 20
3 8
6 1
Экстремальный градиентный бустинг с XGBoost

Вычисление RMSE

Факт Прогноз Ошибка
10 20 -10
3 8 -5
6 1 5
Экстремальный градиентный бустинг с XGBoost

Вычисление RMSE

Факт Прогноз Ошибка Квадрат ошибки
10 20 -10 100
3 8 -5 25
6 1 5 25
  • Сумма квадратов ошибок: 150
  • Среднеквадратичная ошибка: 50
  • Корень из среднеквадратичной ошибки: 7,07
Экстремальный градиентный бустинг с XGBoost

Вычисление MAE

Факт Прогноз Ошибка
10 20 -10
3 8 -5
6 1 5
  • Сумма абсолютных ошибок: 20
  • Средняя абсолютная ошибка: 6,67
Экстремальный градиентный бустинг с XGBoost

Распространённые алгоритмы регрессии

  • Линейная регрессия
  • Деревья решений
Экстремальный градиентный бустинг с XGBoost

Алгоритмы для регрессии и классификации

1 https://www.ibm.com/support/knowledgecenter/en/SS3RA7_15.0.0/ com.ibm.spss.modeler.help/nodes_treebuilding.htm
Экстремальный градиентный бустинг с XGBoost

Давайте потренируемся!

Экстремальный градиентный бустинг с XGBoost

Preparing Video For Download...