Czym jest drzewo decyzyjne?

Extreme Gradient Boosting with XGBoost

Sergey Fogelson

Head of Data Science, TelevisaUnivision

Wizualizacja drzewa decyzyjnego

1 https://www.ibm.com/support/knowledgecenter/en/SS3RA7_15.0.0/ com.ibm.spss.modeler.help/nodes_treebuilding.htm
Extreme Gradient Boosting with XGBoost

Drzewa decyzyjne jako estymatory bazowe

  • Bazowy estymator – indywidualny algorytm uczący w algorytmie zespołowym
  • Składa się z serii pytań binarnych
  • Predykcje są dokonywane w „liściach" drzewa
Extreme Gradient Boosting with XGBoost

Drzewa decyzyjne i CART

  • Budowane iteracyjnie (jedna decyzja na raz)
    • Aż do spełnienia kryterium zatrzymania
Extreme Gradient Boosting with XGBoost

Pojedyncze drzewa decyzyjne mają tendencję do przeuczenia

1 http://scott.fortmann-roe.com/docs/BiasVariance.html
Extreme Gradient Boosting with XGBoost

Pojedyncze drzewa decyzyjne mają tendencję do przeuczenia

1 http://scott.fortmann-roe.com/docs/BiasVariance.html
Extreme Gradient Boosting with XGBoost

CART: Drzewa klasyfikacji i regresji

  • Każdy liść zawsze zawiera wynik rzeczywisty
  • Można go później przekształcić w kategorie
Extreme Gradient Boosting with XGBoost

Czas popracować z drzewami decyzyjnymi!

Extreme Gradient Boosting with XGBoost

Preparing Video For Download...