Wat is een beslisboom?

Extreme Gradient Boosting met XGBoost

Sergey Fogelson

Head of Data Science, TelevisaUnivision

Een beslisboom visualiseren

1 https://www.ibm.com/support/knowledgecenter/en/SS3RA7_15.0.0/ com.ibm.spss.modeler.help/nodes_treebuilding.htm
Extreme Gradient Boosting met XGBoost

Beslisbomen als basismodellen

  • Basismodel - Individueel leeralgoritme in een ensemble-algoritme
  • Bestaat uit een reeks binaire vragen
  • Voorspellingen gebeuren aan de "bladeren" van de boom
Extreme Gradient Boosting met XGBoost

Beslisbomen en CART

  • Iteratief opgebouwd (één beslissing per keer)
    • Tot een stopcriterium is bereikt
Extreme Gradient Boosting met XGBoost

Losse beslisbomen overfitten vaak

1 http://scott.fortmann-roe.com/docs/BiasVariance.html
Extreme Gradient Boosting met XGBoost

Losse beslisbomen overfitten vaak

1 http://scott.fortmann-roe.com/docs/BiasVariance.html
Extreme Gradient Boosting met XGBoost

CART: Classification and Regression Trees

  • Elk blad bevat altijd een reële score
  • Kan later worden omgezet naar categorieën
Extreme Gradient Boosting met XGBoost

Laten we met beslisbomen aan de slag gaan!

Extreme Gradient Boosting met XGBoost

Preparing Video For Download...