Informace a důležitost příznaků

Redukce dimenzionality v R

Matt Pickard

Owner, Pickard Predictives, LLC

Citace o informačním zisku

1 Provost, Foster; Fawcett, Tom (2013-07-27). Data Science for Business: What you need to know about data mining and data-analytic thinking. O'Reilly Media. Kindle Edition.
Redukce dimenzionality v R

Důležitost příznaků

Důležitost příznaků: míra informace při tvorbě modelu

Ilustrace prediktor–cíl–model

Způsoby měření důležitosti příznaků

  • Korelace (s cílovou proměnnou)
  • Standardizované regresní koeficienty
  • Informační zisk
Redukce dimenzionality v R

Příklad rozhodovacího stromu

Sada pozorování nesplácených úvěrů s vlastnostmi tvar, barva, obrys a textura

Redukce dimenzionality v R

Rozhodovací strom a informační zisk

Informační zisk – množství informace o jedné proměnné získané pozorováním jiné proměnné

Rovnice informačního zisku

Množina rozdělená podle příznaku

Redukce dimenzionality v R

Entropie

  • Míra neuspořádanosti
  • S rostoucí čistotou entropie klesá
  • Hodnoty entropie: 0 (dokonalá čistota) až 1 (maximální entropie)

Graf entropie

Redukce dimenzionality v R

Entropie: kořenový uzel

Rovnice entropie

p_yes <- 7/16

p_no <- 9/16

entropy_root <- 
  -(p_yes * log2(p_yes)) + 
  -(p_no * log2(p_no))

entropy_root

0.989

Pozorování v kořenovém uzlu

Redukce dimenzionality v R

Entropie: podřízené uzly

p_left_yes <- 2/9

p_left_no <- 7/9


entropy_left <- 
  -(p_left_yes * log2(p_left_yes)) +
  -(p_left_no * log2(p_left_no))

Rozdělení rozhodovacího stromu na první úroveň

Redukce dimenzionality v R

Entropie: podřízené uzly

p_left_yes <- 2/9 

p_left_no <- 7/9 


entropy_left <- 
  -(p_left_yes * log2(p_left_yes)) +
  -(p_left_no * log2(p_left_no)) 


entropy_left 

0.764

Rozdělení rozhodovacího stromu na první úroveň

Redukce dimenzionality v R

Entropie: podřízené uzly

p_right_yes <- 5/7

p_right_no <- 2/7


entropy_right <- 
  -(p_right_yes * log2(p_right_yes)) +
  -(p_right_no * log2(p_right_no))

Rozdělení rozhodovacího stromu na první úroveň

Redukce dimenzionality v R

Entropie: podřízené uzly

p_right_yes <- 5/7 

p_right_no <- 2/7 


entropy_right <- 
  -(p_right_yes * log2(p_right_yes)) +
  -(p_right_no * log2(p_right_no)) 


entropy_right 

0.863

Rozdělení rozhodovacího stromu na první úroveň

Redukce dimenzionality v R

Informační zisk: kořen na podřízené uzly

p_left <- 9/16

p_right <- 7/16


info_gain <- entropy_root - 
  (p_left * entropy_left +
  p_right * entropy_right)


info_gain

0.181

Rozdělení rozhodovacího stromu na první úroveň

Redukce dimenzionality v R

Porovnání informačního zisku napříč příznaky

Příznak Informační zisk
shape 0.181
texture 0.180
outline 0.106
color 0.106

Rozhodovací strom s otazníkem u rozdělení

Redukce dimenzionality v R

Pojďme si procvičit!

Redukce dimenzionality v R

Preparing Video For Download...