Informație și importanța variabilelor

Reducerea dimensionalității în R

Matt Pickard

Owner, Pickard Predictives, LLC

Citat despre câștigul de informație

1 Provost, Foster; Fawcett, Tom (2013-07-27). Data Science for Business: What you need to know about data mining and data-analytic thinking. O'Reilly Media. Kindle Edition.
Reducerea dimensionalității în R

Importanța variabilelor

Importanța variabilelor: o măsură a informației în construirea modelului

Ilustrație predictor-țintă-model

Multiple modalități de a măsura importanța variabilelor

  • Corelație (cu variabila țintă)
  • Coeficienți de regresie standardizați
  • Câștigul de informație
Reducerea dimensionalității în R

Exemplu de arbore de decizie

Un set de observații privind creditele neperformante cu caracteristici de formă, culoare, contur și textură

Reducerea dimensionalității în R

Arbore de decizie și câștigul de informație

Câștigul de informație - cantitatea de informație despre o variabilă obținută prin observarea altei variabile

Ecuația câștigului de informație

Mulțime divizată după o variabilă

Reducerea dimensionalității în R

Entropia

  • O măsură a dezordinii
  • Pe măsură ce puritatea crește, entropia scade
  • Valorile entropiei variază de la 0 (puritate perfectă) la 1 (entropie maximă)

Grafic entropie

Reducerea dimensionalității în R

Entropia: nodul rădăcină

Ecuația entropiei

p_yes <- 7/16

p_no <- 9/16

entropy_root <- 
  -(p_yes * log2(p_yes)) + 
  -(p_no * log2(p_no))

entropy_root

0.989

Observații în nodul rădăcină

Reducerea dimensionalității în R

Entropia: noduri copil

p_left_yes <- 2/9

p_left_no <- 7/9


entropy_left <- 
  -(p_left_yes * log2(p_left_yes)) +
  -(p_left_no * log2(p_left_no))

Divizarea arborelui de decizie la primul nivel față de rădăcină

Reducerea dimensionalității în R

Entropia: noduri copil

p_left_yes <- 2/9 

p_left_no <- 7/9 


entropy_left <- 
  -(p_left_yes * log2(p_left_yes)) +
  -(p_left_no * log2(p_left_no)) 


entropy_left 

0.764

Divizarea arborelui de decizie la primul nivel față de rădăcină

Reducerea dimensionalității în R

Entropia: noduri copil

p_right_yes <- 5/7

p_right_no <- 2/7


entropy_right <- 
  -(p_right_yes * log2(p_right_yes)) +
  -(p_right_no * log2(p_right_no))

Divizarea arborelui de decizie la primul nivel față de rădăcină

Reducerea dimensionalității în R

Entropia: noduri copil

p_right_yes <- 5/7 

p_right_no <- 2/7 


entropy_right <- 
  -(p_right_yes * log2(p_right_yes)) +
  -(p_right_no * log2(p_right_no)) 


entropy_right 

0.863

Divizarea arborelui de decizie la primul nivel față de rădăcină

Reducerea dimensionalității în R

Câștigul de informație: de la rădăcină la copii

p_left <- 9/16

p_right <- 7/16


info_gain <- entropy_root - 
  (p_left * entropy_left +
  p_right * entropy_right)


info_gain

0.181

Divizarea arborelui de decizie la primul nivel față de rădăcină

Reducerea dimensionalității în R

Compararea câștigului de informație între variabile

Variabilă Câștig de informație
shape 0.181
texture 0.180
outline 0.106
color 0.106

Arbore de decizie cu semn de întrebare la divizare

Reducerea dimensionalității în R

Să exersăm!

Reducerea dimensionalității în R

Preparing Video For Download...