Information och särdragsvikt

Dimensionsreduktion i R

Matt Pickard

Owner, Pickard Predictives, LLC

Citat om informationsvinst

1 Provost, Foster; Fawcett, Tom (2013-07-27). Data Science for Business: What you need to know about data mining and data-analytic thinking. O'Reilly Media. Kindle Edition.
Dimensionsreduktion i R

Särdragsvikt

Särdragsvikt: ett mått på information vid modellbygge

Illustration av prediktor, utfall och modell

Många sätt att mäta särdragsvikt

  • Korrelation (med målvariabeln)
  • Standardiserade regressionskoefficienter
  • Informationsvinst
Dimensionsreduktion i R

Exempel med beslutsträd

En uppsättning observationer av lånedefaulter med egenskaperna form, färg, kontur och textur

Dimensionsreduktion i R

Beslutsträd och informationsvinst

Informationsvinst – hur mycket information om en variabel vi får genom att observera en annan

Ekvation för informationsvinst

En mängd som delas upp av ett särdrag

Dimensionsreduktion i R

Entropi

  • Ett mått på oordning
  • Ju högre renhet, desto lägre entropi
  • Entropivärden sträcker sig från 0 (perfekt renhet) till 1 (maximal entropi)

Graf över entropi

Dimensionsreduktion i R

Entropi: rotnod

Entropiekvation

p_yes <- 7/16

p_no <- 9/16

entropy_root <- 
  -(p_yes * log2(p_yes)) + 
  -(p_no * log2(p_no))

entropy_root

0.989

Bild av observationer i rotnoden

Dimensionsreduktion i R

Entropi: barnnoder

p_left_yes <- 2/9

p_left_no <- 7/9


entropy_left <- 
  -(p_left_yes * log2(p_left_yes)) +
  -(p_left_no * log2(p_left_no))

Beslutsträd uppdelat till första nivån från roten

Dimensionsreduktion i R

Entropi: barnnoder

p_left_yes <- 2/9 

p_left_no <- 7/9 


entropy_left <- 
  -(p_left_yes * log2(p_left_yes)) +
  -(p_left_no * log2(p_left_no)) 


entropy_left 

0.764

Beslutsträd uppdelat till första nivån från roten

Dimensionsreduktion i R

Entropi: barnnoder

p_right_yes <- 5/7

p_right_no <- 2/7


entropy_right <- 
  -(p_right_yes * log2(p_right_yes)) +
  -(p_right_no * log2(p_right_no))

Beslutsträd uppdelat till första nivån från roten

Dimensionsreduktion i R

Entropi: barnnoder

p_right_yes <- 5/7 

p_right_no <- 2/7 


entropy_right <- 
  -(p_right_yes * log2(p_right_yes)) +
  -(p_right_no * log2(p_right_no)) 


entropy_right 

0.863

Beslutsträd uppdelat till första nivån från roten

Dimensionsreduktion i R

Informationsvinst: från rot till barnnoder

p_left <- 9/16

p_right <- 7/16


info_gain <- entropy_root - 
  (p_left * entropy_left +
  p_right * entropy_right)


info_gain

0.181

Beslutsträd uppdelat till första nivån från roten

Dimensionsreduktion i R

Jämför informationsvinst mellan särdrag

Särdrag Informationsvinst
form 0,181
textur 0,180
kontur 0,106
färg 0,106

Beslutsträd med frågetecken vid uppdelning

Dimensionsreduktion i R

Nu kör vi en övning!

Dimensionsreduktion i R

Preparing Video For Download...