Afstelbare parameters in XGBoost

Extreme Gradient Boosting met XGBoost

Sergey Fogelson

Head of Data Science, TelevisaUnivision

Veelvoorkomende boomparameters om af te stemmen

  • learning rate: learning rate/eta
  • gamma: min. verliesreductie voor een nieuwe splitsing
  • lambda: L2-reg op bladgewichten
  • alpha: L1-reg op bladgewichten
  • max_depth: max. diepte per boom
  • subsample: % samples per boom
  • colsample_bytree: % features per boom
Extreme Gradient Boosting met XGBoost

Lineaire afstelbare parameters

  • lambda: L2-reg op gewichten
  • alpha: L1-reg op gewichten

  • lambda_bias: L2-reg-term op bias

  • Je kunt ook het aantal estimators voor beide basismodellen afstemmen!

Extreme Gradient Boosting met XGBoost

Laten we wat gaan tunen!

Extreme Gradient Boosting met XGBoost

Preparing Video For Download...