Настраиваемые параметры в XGBoost

Экстремальный градиентный бустинг с XGBoost

Sergey Fogelson

Head of Data Science, TelevisaUnivision

Параметры настройки деревьев

  • learning rate: скорость обучения/eta
  • gamma: минимальное снижение потерь для нового разделения
  • lambda: L2-регуляризация весов листьев
  • alpha: L1-регуляризация весов листьев
  • max_depth: максимальная глубина дерева
  • subsample: % выборки на дерево
  • colsample_bytree: % признаков на дерево
Экстремальный градиентный бустинг с XGBoost

Параметры настройки линейных моделей

  • lambda: L2-регуляризация весов
  • alpha: L1-регуляризация весов

  • lambda_bias: L2-регуляризация смещения

  • Количество оценщиков можно настраивать для обоих типов базовых моделей!

Экстремальный градиентный бустинг с XGBoost

Давайте потренируемся!

Экстремальный градиентный бустинг с XGBoost

Preparing Video For Download...