Informacja i ważność cech

Redukcja wymiarowości w R

Matt Pickard

Owner, Pickard Predictives, LLC

Cytat o przyroście informacji

1 Provost, Foster; Fawcett, Tom (2013-07-27). Data Science for Business: What you need to know about data mining and data-analytic thinking. O'Reilly Media. Kindle Edition.
Redukcja wymiarowości w R

Ważność cech

Ważność cech: miara informacji w budowaniu modelu

Ilustracja modelu predyktor-cel

Wiele sposobów pomiaru ważności cech

  • Korelacja (ze zmienną docelową)
  • Standaryzowane współczynniki regresji
  • Przyrost informacji
Redukcja wymiarowości w R

Przykład drzewa decyzyjnego

Zestaw obserwacji dotyczących niespłaconych kredytów z cechami: kształt, kolor, obrys i tekstura

Redukcja wymiarowości w R

Drzewo decyzyjne i przyrost informacji

Przyrost informacji – ilość informacji o jednej zmiennej uzyskana przez obserwację innej zmiennej

Równanie przyrostu informacji

Zbiór dzielony według pewnej cechy

Redukcja wymiarowości w R

Entropia

  • Miara nieuporządkowania
  • Im większa czystość, tym mniejsza entropia
  • Wartości entropii: od 0 (pełna czystość) do 1 (pełna entropia)

Wykres entropii

Redukcja wymiarowości w R

Entropia: węzeł główny

Równanie entropii

p_yes <- 7/16

p_no <- 9/16

entropy_root <- 
  -(p_yes * log2(p_yes)) + 
  -(p_no * log2(p_no))

entropy_root

0.989

Obserwacje w węźle głównym

Redukcja wymiarowości w R

Entropia: węzły potomne

p_left_yes <- 2/9

p_left_no <- 7/9


entropy_left <- 
  -(p_left_yes * log2(p_left_yes)) +
  -(p_left_no * log2(p_left_no))

Podział drzewa decyzyjnego na pierwszy poziom od korzenia

Redukcja wymiarowości w R

Entropia: węzły potomne

p_left_yes <- 2/9 

p_left_no <- 7/9 


entropy_left <- 
  -(p_left_yes * log2(p_left_yes)) +
  -(p_left_no * log2(p_left_no)) 


entropy_left 

0.764

Podział drzewa decyzyjnego na pierwszy poziom od korzenia

Redukcja wymiarowości w R

Entropia: węzły potomne

p_right_yes <- 5/7

p_right_no <- 2/7


entropy_right <- 
  -(p_right_yes * log2(p_right_yes)) +
  -(p_right_no * log2(p_right_no))

Podział drzewa decyzyjnego na pierwszy poziom od korzenia

Redukcja wymiarowości w R

Entropia: węzły potomne

p_right_yes <- 5/7 

p_right_no <- 2/7 


entropy_right <- 
  -(p_right_yes * log2(p_right_yes)) +
  -(p_right_no * log2(p_right_no)) 


entropy_right 

0.863

Podział drzewa decyzyjnego na pierwszy poziom od korzenia

Redukcja wymiarowości w R

Przyrost informacji: od korzenia do węzłów potomnych

p_left <- 9/16

p_right <- 7/16


info_gain <- entropy_root - 
  (p_left * entropy_left +
  p_right * entropy_right)


info_gain

0.181

Podział drzewa decyzyjnego na pierwszy poziom od korzenia

Redukcja wymiarowości w R

Porównanie przyrostu informacji dla cech

Cecha Przyrost informacji
shape 0.181
texture 0.180
outline 0.106
color 0.106

Drzewo decyzyjne ze znakiem zapytania w punkcie podziału

Redukcja wymiarowości w R

Czas na ćwiczenia!

Redukcja wymiarowości w R

Preparing Video For Download...