什麼是決策樹？

使用 XGBoost 的極端梯度提升

Sergey Fogelson

Head of Data Science, TelevisaUnivision

視覺化決策樹

1 https://www.ibm.com/support/knowledgecenter/en/SS3RA7_15.0.0/ com.ibm.spss.modeler.help/nodes_treebuilding.htm
使用 XGBoost 的極端梯度提升

把決策樹當作基底學習器

  • 基底學習器－集成演算法中的個別學習演算法
  • 由一連串二元問題組成
  • 樹的「葉節點」做出預測
使用 XGBoost 的極端梯度提升

決策樹與 CART

  • 逐步構建（一次一個決策）
    • 直到滿足停止條件為止
使用 XGBoost 的極端梯度提升

單一決策樹容易過度擬合

1 http://scott.fortmann-roe.com/docs/BiasVariance.html
使用 XGBoost 的極端梯度提升

單一決策樹容易過度擬合

1 http://scott.fortmann-roe.com/docs/BiasVariance.html
使用 XGBoost 的極端梯度提升

CART：分類與回歸樹

  • 每個葉節點一定包含實數分數
  • 之後可轉換為類別
使用 XGBoost 的極端梯度提升

來實作一些決策樹吧！

使用 XGBoost 的極端梯度提升

Preparing Video For Download...