Що таке дерево рішень?

Екстремальний градієнтний бустинг з XGBoost

Sergey Fogelson

Head of Data Science, TelevisaUnivision

Візуалізація дерева рішень

1 https://www.ibm.com/support/knowledgecenter/en/SS3RA7_15.0.0/ com.ibm.spss.modeler.help/nodes_treebuilding.htm
Екстремальний градієнтний бустинг з XGBoost

Дерева рішень як базові учні

  • Базовий учень — окремий алгоритм навчання в ансамблевому методі
  • Складається з послідовності бінарних запитань
  • Прогнози робляться в «листках» дерева
Екстремальний градієнтний бустинг з XGBoost

Дерева рішень і CART

  • Будуються ітеративно (одне рішення за раз)
    • Поки не виконано критерій зупинки
Екстремальний градієнтний бустинг з XGBoost

Окремі дерева рішень схильні до перенавчання

1 http://scott.fortmann-roe.com/docs/BiasVariance.html
Екстремальний градієнтний бустинг з XGBoost

Окремі дерева рішень схильні до перенавчання

1 http://scott.fortmann-roe.com/docs/BiasVariance.html
Екстремальний градієнтний бустинг з XGBoost

CART: дерева класифікації та регресії

  • Кожен листок завжди містить дійсне числове значення
  • Його можна згодом перетворити на категорії
Екстремальний градієнтний бустинг з XGBoost

Попрацюймо з деревами рішень!

Екстремальний градієнтний бустинг з XGBoost

Preparing Video For Download...