ツリーベース手法の直感的理解

R による Supervised Learning：回帰

Nina Zumel and John Mount

Win-Vector, LLC

例：妊娠期間と産子数から動物の知能を予測する

R による Supervised Learning：回帰

決定木

ルールの形式：

  • if a AND b AND c THEN y

非線形な概念

  • 区間
  • 非単調な関係

非加法的な交互作用

  • AND：乗算に類似
R による Supervised Learning：回帰

決定木

  • IF Litter < 1.15 AND Gestation $\ge$ 268 $\rightarrow$ intelligence = 0.315
  • IF Litter IN [1.15, 4.3) $\rightarrow$ intelligence = 0.131
R による Supervised Learning：回帰

決定木

利点：木は表現力豊かな概念空間を持つ

モデル RMSE
線形回帰 0.1200419
決定木 0.1072732
R による Supervised Learning：回帰

決定木

欠点：粗い予測

R による Supervised Learning：回帰

決定木は線形関係の表現が苦手

木は軸に沿った領域を予測する

各色は異なる予測値を表す

R による Supervised Learning：回帰

決定木は線形関係の表現が苦手

階段状では直線を表現しにくい

R による Supervised Learning：回帰

決定木のその他の問題

  • 分割数が多すぎる木（深い木）：
    • 過度に複雑 - 過学習の危険
  • 分割数が少なすぎる木（浅い木）：
    • 予測が粗くなる
R による Supervised Learning：回帰

木のアンサンブル

アンサンブルは単一の木より細かい予測が可能

R による Supervised Learning：回帰

木のアンサンブル

アンサンブルモデルは単一の木より動物知能データに適合

モデル RMSE
線形回帰 0.1200419
決定木 0.1072732
ランダムフォレスト 0.0901681
R による Supervised Learning：回帰

練習してみましょう！

R による Supervised Learning：回帰

Preparing Video For Download...