Что такое дерево решений?

Экстремальный градиентный бустинг с XGBoost

Sergey Fogelson

Head of Data Science, TelevisaUnivision

Визуализация дерева решений

¹ https://www.ibm.com/support/knowledgecenter/en/SS3RA7_15.0.0/ com.ibm.spss.modeler.help/nodes_treebuilding.htm

Деревья решений как базовые алгоритмы

Базовый алгоритм — отдельный алгоритм обучения в ансамблевом методе
Состоит из серии бинарных вопросов
Предсказания формируются в «листьях» дерева

Деревья решений и CART

Строится итеративно (по одному решению за раз)
- До выполнения критерия остановки

Отдельные деревья решений склонны к переобучению

¹ http://scott.fortmann-roe.com/docs/BiasVariance.html

Отдельные деревья решений склонны к переобучению

¹ http://scott.fortmann-roe.com/docs/BiasVariance.html

CART: деревья классификации и регрессии

Каждый лист всегда содержит числовую оценку
Впоследствии её можно преобразовать в категории

Давайте потренируемся!

Экстремальный градиентный бустинг с XGBoost

Preparing Video For Download...