Vad är ett beslutsträd?

Extreme Gradient Boosting med XGBoost

Sergey Fogelson

Head of Data Science, TelevisaUnivision

Visualisera ett beslutsträd

1 https://www.ibm.com/support/knowledgecenter/en/SS3RA7_15.0.0/ com.ibm.spss.modeler.help/nodes_treebuilding.htm
Extreme Gradient Boosting med XGBoost

Beslutsträd som basalgoritmer

  • Basalgoritm – individuell inlärningsalgoritm i en ensemblealgoritm
  • Består av en serie binära frågor
  • Prediktioner sker i trädets "löv"
Extreme Gradient Boosting med XGBoost

Beslutsträd och CART

  • Byggs iterativt (ett beslut i taget)
    • Tills ett stoppvillkor uppfylls
Extreme Gradient Boosting med XGBoost

Enskilda beslutsträd tenderar att överanpassa

1 http://scott.fortmann-roe.com/docs/BiasVariance.html
Extreme Gradient Boosting med XGBoost

Enskilda beslutsträd tenderar att överanpassa

1 http://scott.fortmann-roe.com/docs/BiasVariance.html
Extreme Gradient Boosting med XGBoost

CART: klassificerings- och regressionsträd

  • Varje löv innehåller alltid ett reellt värde
  • Kan sedan konverteras till kategorier
Extreme Gradient Boosting med XGBoost

Nu kör vi en övning!

Extreme Gradient Boosting med XGBoost

Preparing Video For Download...