Bilgi ve özellik önemi

R'de Boyutsal Azaltma

Matt Pickard

Owner, Pickard Predictives, LLC

Bilgi kazanımıyla ilgili alıntı

¹ Provost, Foster; Fawcett, Tom (2013-07-27). Data Science for Business: What you need to know about data mining and data-analytic thinking. O'Reilly Media. Kindle Edition.

Özellik önemi

Özellik önemi: model kurmada bilgiyi ölçme

Tahmin edici-hedef-model görseli

Özellik önemini ölçmenin birçok yolu

Korelasyon (hedef değişkenle)
Standartlaştırılmış regresyon katsayıları
Bilgi kazanımı

Karar ağacı örneği

Şekil, renk, dış hat ve doku özellikli kredi temerrüt gözlemleri

Karar ağacı ve bilgi kazanımı

Bilgi kazanımı - bir değişkeni gözlemleyerek diğeri hakkında öğrendiğimiz bilgi miktarı

Bilgi kazanımı denklemi

Bir özelliğe göre kümenin bölünmesi

Entropi

Düzensizlik ölçüsü
Saflık arttıkça entropi azalır
Entropi 0 (mükemmel saflık) ile 1 (maksimum entropi) arasında değişir

Entropi grafiği

Entropi: kök düğüm

Entropi denklemi

p_yes <- 7/16

p_no <- 9/16

entropy_root <- 
  -(p_yes * log2(p_yes)) + 
  -(p_no * log2(p_no))

entropy_root

0.989

Kök düğümdeki gözlemler

Entropi: çocuk düğümler

p_left_yes <- 2/9

p_left_no <- 7/9


entropy_left <- 
  -(p_left_yes * log2(p_left_yes)) +
  -(p_left_no * log2(p_left_no))

Kökten ilk seviyeye bölünme

Entropi: çocuk düğümler

p_left_yes <- 2/9 

p_left_no <- 7/9 


entropy_left <- 
  -(p_left_yes * log2(p_left_yes)) +
  -(p_left_no * log2(p_left_no)) 


entropy_left

0.764

Kökten ilk seviyeye bölünme

Entropi: çocuk düğümler

p_right_yes <- 5/7

p_right_no <- 2/7


entropy_right <- 
  -(p_right_yes * log2(p_right_yes)) +
  -(p_right_no * log2(p_right_no))

Kökten ilk seviyeye bölünme

Entropi: çocuk düğümler

p_right_yes <- 5/7 

p_right_no <- 2/7 


entropy_right <- 
  -(p_right_yes * log2(p_right_yes)) +
  -(p_right_no * log2(p_right_no)) 


entropy_right

0.863

Kökten ilk seviyeye bölünme

Bilgi kazanımı: kökten çocuklara

p_left <- 9/16

p_right <- 7/16


info_gain <- entropy_root - 
  (p_left * entropy_left +
  p_right * entropy_right)


info_gain

0.181

Kökten ilk seviyeye bölünme

Özellikler arasında bilgi kazanımını karşılaştırın

Özellik	Bilgi kazanımı
şekil	0.181
doku	0.180
dış hat	0.106
renk	0.106

Bölünmede soru işaretli karar ağacı

Haydi pratik yapalım!

R'de Boyutsal Azaltma