信息与特征重要性

R 中的降维

Matt Pickard

Owner, Pickard Predictives, LLC

信息增益引文

1 Provost, Foster; Fawcett, Tom (2013-07-27). Data Science for Business: What you need to know about data mining and data-analytic thinking. O'Reilly Media. Kindle Edition.
R 中的降维

特征重要性

特征重要性：衡量建模中的信息量

预测变量、目标与模型示意图

评估特征重要性的多种方法

  • 与目标的相关性
  • 回归系数标准化
  • 信息增益
R 中的降维

决策树示例

贷款违约观测集，含形状、颜色、轮廓、纹理等特征

R 中的降维

决策树与信息增益

"信息增益"：通过观察一个变量，对另一个变量所获的信息量

信息增益公式

按某特征分裂集合

R 中的降维

熵

  • 无序度的度量
  • 纯度越高，熵越低
  • 熵在 0（完全纯）到 1（完全无序）之间

熵图

R 中的降维

熵：根节点

熵公式

p_yes <- 7/16

p_no <- 9/16

entropy_root <- 
  -(p_yes * log2(p_yes)) + 
  -(p_no * log2(p_no))

entropy_root

0.989

根节点中的观测

R 中的降维

熵：子节点

p_left_yes <- 2/9

p_left_no <- 7/9


entropy_left <- 
  -(p_left_yes * log2(p_left_yes)) +
  -(p_left_no * log2(p_left_no))

从根节点分裂到第一层的决策树

R 中的降维

熵：子节点

p_left_yes <- 2/9 

p_left_no <- 7/9 


entropy_left <- 
  -(p_left_yes * log2(p_left_yes)) +
  -(p_left_no * log2(p_left_no)) 


entropy_left 

0.764

从根节点分裂到第一层的决策树

R 中的降维

熵：子节点

p_right_yes <- 5/7

p_right_no <- 2/7


entropy_right <- 
  -(p_right_yes * log2(p_right_yes)) +
  -(p_right_no * log2(p_right_no))

从根节点分裂到第一层的决策树

R 中的降维

熵：子节点

p_right_yes <- 5/7 

p_right_no <- 2/7 


entropy_right <- 
  -(p_right_yes * log2(p_right_yes)) +
  -(p_right_no * log2(p_right_no)) 


entropy_right 

0.863

从根节点分裂到第一层的决策树

R 中的降维

信息增益：从根到子节点

p_left <- 9/16

p_right <- 7/16


info_gain <- entropy_root - 
  (p_left * entropy_left +
  p_right * entropy_right)


info_gain

0.181

从根节点分裂到第一层的决策树

R 中的降维

比较各特征的信息增益

特征 信息增益
shape 0.181
texture 0.180
outline 0.106
color 0.106

带问号分裂的决策树

R 中的降维

¡Vamos a practicar!

R 中的降维

Preparing Video For Download...