決定木とは？

XGBoost で学ぶ極限の勾配ブースティング

Sergey Fogelson

Head of Data Science, TelevisaUnivision

決定木の可視化

1 https://www.ibm.com/support/knowledgecenter/en/SS3RA7_15.0.0/ com.ibm.spss.modeler.help/nodes_treebuilding.htm
XGBoost で学ぶ極限の勾配ブースティング

基本学習器としての決定木

  • 基本学習器：アンサンブルアルゴリズムの個々の学習アルゴリズム
  • 一連の二値判定で構成される
  • 予測は木の「葉」で行われる
XGBoost で学ぶ極限の勾配ブースティング

決定木とCART

  • 反復的に構築される（1回に1つの判定）
    • 停止条件を満たすまで継続
XGBoost で学ぶ極限の勾配ブースティング

個々の決定木は過学習しやすい

1 http://scott.fortmann-roe.com/docs/BiasVariance.html
XGBoost で学ぶ極限の勾配ブースティング

個々の決定木は過学習しやすい

1 http://scott.fortmann-roe.com/docs/BiasVariance.html
XGBoost で学ぶ極限の勾配ブースティング

CART：分類回帰木

  • 各葉には必ず実数値スコアが含まれる
  • 後からカテゴリに変換可能
XGBoost で学ぶ極限の勾配ブースティング

決定木を使って練習しましょう！

XGBoost で学ぶ極限の勾配ブースティング

Preparing Video For Download...