情報と特徴量重要度

Rによる次元削減

Matt Pickard

Owner, Pickard Predictives, LLC

情報利得に関する引用

¹ Provost, Foster; Fawcett, Tom (2013-07-27). Data Science for Business: What you need to know about data mining and data-analytic thinking. O'Reilly Media. Kindle Edition.

特徴量重要度

特徴量重要度：モデル構築における情報の尺度

予測変数・目的変数・モデルの図

特徴量重要度の測り方は複数あります

相関（目的変数との）
標準化回帰係数
情報利得

決定木の例

形状・色・外形・質感の特徴を持つ貸倒データの観測値のセット

決定木と情報利得

「情報利得」: ある変数を観測することで別の変数について分かる情報量

情報利得の式

特徴で集合を分割

エントロピー

乱雑さの尺度
純度が上がるとエントロピーは下がる
エントロピーは 0（完全に純粋）〜1（最大の乱雑さ）

エントロピーのグラフ

エントロピー：ルートノード

エントロピーの式

p_yes <- 7/16

p_no <- 9/16

entropy_root <- 
  -(p_yes * log2(p_yes)) + 
  -(p_no * log2(p_no))

entropy_root

0.989

ルートノードの観測値

エントロピー：子ノード

p_left_yes <- 2/9

p_left_no <- 7/9


entropy_left <- 
  -(p_left_yes * log2(p_left_yes)) +
  -(p_left_no * log2(p_left_no))

ルートから第1層への分割

エントロピー：子ノード

p_left_yes <- 2/9 

p_left_no <- 7/9 


entropy_left <- 
  -(p_left_yes * log2(p_left_yes)) +
  -(p_left_no * log2(p_left_no)) 


entropy_left

0.764

ルートから第1層への分割

エントロピー：子ノード

p_right_yes <- 5/7

p_right_no <- 2/7


entropy_right <- 
  -(p_right_yes * log2(p_right_yes)) +
  -(p_right_no * log2(p_right_no))

ルートから第1層への分割

エントロピー：子ノード

p_right_yes <- 5/7 

p_right_no <- 2/7 


entropy_right <- 
  -(p_right_yes * log2(p_right_yes)) +
  -(p_right_no * log2(p_right_no)) 


entropy_right

0.863

ルートから第1層への分割

情報利得：ルートから子へ

p_left <- 9/16

p_right <- 7/16


info_gain <- entropy_root - 
  (p_left * entropy_left +
  p_right * entropy_right)


info_gain

0.181

ルートから第1層への分割

特徴量間の情報利得を比較

特徴量	情報利得
shape	0.181
texture	0.180
outline	0.106
color	0.106

分割に疑問符のある決定木

Ayo berlatih!

Rによる次元削減