Налаштовувані параметри в XGBoost

Екстремальний градієнтний бустинг з XGBoost

Sergey Fogelson

Head of Data Science, TelevisaUnivision

Поширені параметри налаштування для дерев

  • learning rate: швидкість навчання/eta
  • gamma: мінімальне зниження втрат для нового розбиття
  • lambda: L2-регуляризація ваг листків
  • alpha: L1-регуляризація ваг листків
  • max_depth: максимальна глибина дерева
  • subsample: % вибірок на дерево
  • colsample_bytree: % ознак на дерево
Екстремальний градієнтний бустинг з XGBoost

Параметри налаштування для лінійних моделей

  • lambda: L2-регуляризація ваг
  • alpha: L1-регуляризація ваг

  • lambda_bias: доданок L2-регуляризації для зміщення

  • Також можна налаштовувати кількість оцінювачів для обох базових моделей!

Екстремальний градієнтний бустинг з XGBoost

Переходимо до налаштування!

Екстремальний градієнтний бустинг з XGBoost

Preparing Video For Download...