Informação e importância de atributos

Redução de Dimensionalidade em R

Matt Pickard

Owner, Pickard Predictives, LLC

Citação sobre ganho de informação

1 Provost, Foster; Fawcett, Tom (2013-07-27). Data Science for Business: What you need to know about data mining and data-analytic thinking. O'Reilly Media. Kindle Edition.
Redução de Dimensionalidade em R

Importância de atributos

Importância de atributos: uma medida de informação na construção de modelos

Ilustração preditor, alvo e modelo

Muitas formas de medir a importância

  • Correlação (com a variável alvo)
  • Padronizar coeficientes da regressão
  • Ganho de informação
Redução de Dimensionalidade em R

Exemplo de árvore de decisão

Conjunto de observações de inadimplência com características de forma, cor, contorno e textura

Redução de Dimensionalidade em R

Árvore de decisão e ganho de informação

Ganho de informação — quanto passamos a saber sobre uma variável ao observar outra

Equação de ganho de informação

conjunto sendo dividido por algum atributo

Redução de Dimensionalidade em R

Entropia

  • Uma medida de desordem
  • Conforme a pureza aumenta, a entropia diminui
  • A entropia varia de 0 (pureza perfeita) a 1 (entropia máxima)

Gráfico de entropia

Redução de Dimensionalidade em R

Entropia: nó raiz

Equação de entropia

p_yes <- 7/16

p_no <- 9/16

entropy_root <- 
  -(p_yes * log2(p_yes)) + 
  -(p_no * log2(p_no))

entropy_root

0.989

Imagem das observações no nó raiz

Redução de Dimensionalidade em R

Entropia: nós filhos

p_left_yes <- 2/9

p_left_no <- 7/9


entropy_left <- 
  -(p_left_yes * log2(p_left_yes)) +
  -(p_left_no * log2(p_left_no))

Divisão da árvore para formar o primeiro nível a partir da raiz

Redução de Dimensionalidade em R

Entropia: nós filhos

p_left_yes <- 2/9 

p_left_no <- 7/9 


entropy_left <- 
  -(p_left_yes * log2(p_left_yes)) +
  -(p_left_no * log2(p_left_no)) 


entropy_left 

0.764

Divisão da árvore para formar o primeiro nível a partir da raiz

Redução de Dimensionalidade em R

Entropia: nós filhos

p_right_yes <- 5/7

p_right_no <- 2/7


entropy_right <- 
  -(p_right_yes * log2(p_right_yes)) +
  -(p_right_no * log2(p_right_no))

Divisão da árvore para formar o primeiro nível a partir da raiz

Redução de Dimensionalidade em R

Entropia: nós filhos

p_right_yes <- 5/7 

p_right_no <- 2/7 


entropy_right <- 
  -(p_right_yes * log2(p_right_yes)) +
  -(p_right_no * log2(p_right_no)) 


entropy_right 

0.863

Divisão da árvore para formar o primeiro nível a partir da raiz

Redução de Dimensionalidade em R

Ganho de informação: da raiz aos filhos

p_left <- 9/16

p_right <- 7/16


info_gain <- entropy_root - 
  (p_left * entropy_left +
  p_right * entropy_right)


info_gain

0.181

Divisão da árvore para formar o primeiro nível a partir da raiz

Redução de Dimensionalidade em R

Compare o ganho de informação entre atributos

Atributo Ganho de informação
shape 0.181
texture 0.180
outline 0.106
color 0.106

Árvore de decisão com ponto de interrogação na divisão

Redução de Dimensionalidade em R

Vamos praticar!

Redução de Dimensionalidade em R

Preparing Video For Download...