Thông tin và độ quan trọng của đặc trưng

Giảm Chiều Dữ Liệu với R

Matt Pickard

Owner, Pickard Predictives, LLC

Trích dẫn về độ lợi thông tin

1 Provost, Foster; Fawcett, Tom (2013-07-27). Data Science for Business: What you need to know about data mining and data-analytic thinking. O'Reilly Media. Kindle Edition.
Giảm Chiều Dữ Liệu với R

Độ quan trọng của đặc trưng

Độ quan trọng của đặc trưng: thước đo thông tin khi xây dựng mô hình

Minh họa bộ dự báo, mục tiêu, mô hình

Nhiều cách đo độ quan trọng

  • Tương quan (với biến mục tiêu)
  • Chuẩn hóa hệ số hồi quy
  • Độ lợi thông tin
Giảm Chiều Dữ Liệu với R

Ví dụ cây quyết định

Tập quan sát vỡ nợ với đặc trưng hình dạng, màu sắc, viền và kết cấu

Giảm Chiều Dữ Liệu với R

Cây quyết định và độ lợi thông tin

Độ lợi thông tin: lượng thông tin về một biến biết được khi quan sát biến khác

Phương trình độ lợi thông tin

Tập dữ liệu được chia theo một đặc trưng

Giảm Chiều Dữ Liệu với R

Entropy

  • Thước đo mức hỗn loạn
  • Độ thuần tăng thì entropy giảm
  • Entropy từ 0 (thuần tuyệt đối) đến 1 (hỗn loạn tối đa)

Đồ thị entropy

Giảm Chiều Dữ Liệu với R

Entropy: nút gốc

Phương trình entropy

p_yes <- 7/16

p_no <- 9/16

entropy_root <- 
  -(p_yes * log2(p_yes)) + 
  -(p_no * log2(p_no))

entropy_root

0.989

Hình các quan sát ở nút gốc

Giảm Chiều Dữ Liệu với R

Entropy: nút con

p_left_yes <- 2/9

p_left_no <- 7/9


entropy_left <- 
  -(p_left_yes * log2(p_left_yes)) +
  -(p_left_no * log2(p_left_no))

Cây quyết định chia tách tạo mức đầu từ gốc

Giảm Chiều Dữ Liệu với R

Entropy: nút con

p_left_yes <- 2/9 

p_left_no <- 7/9 


entropy_left <- 
  -(p_left_yes * log2(p_left_yes)) +
  -(p_left_no * log2(p_left_no)) 


entropy_left 

0.764

Cây quyết định chia tách tạo mức đầu từ gốc

Giảm Chiều Dữ Liệu với R

Entropy: nút con

p_right_yes <- 5/7

p_right_no <- 2/7


entropy_right <- 
  -(p_right_yes * log2(p_right_yes)) +
  -(p_right_no * log2(p_right_no))

Cây quyết định chia tách tạo mức đầu từ gốc

Giảm Chiều Dữ Liệu với R

Entropy: nút con

p_right_yes <- 5/7 

p_right_no <- 2/7 


entropy_right <- 
  -(p_right_yes * log2(p_right_yes)) +
  -(p_right_no * log2(p_right_no)) 


entropy_right 

0.863

Cây quyết định chia tách tạo mức đầu từ gốc

Giảm Chiều Dữ Liệu với R

Độ lợi thông tin: từ gốc đến nút con

p_left <- 9/16

p_right <- 7/16


info_gain <- entropy_root - 
  (p_left * entropy_left +
  p_right * entropy_right)


info_gain

0.181

Cây quyết định chia tách tạo mức đầu từ gốc

Giảm Chiều Dữ Liệu với R

So sánh độ lợi thông tin giữa các đặc trưng

Đặc trưng Độ lợi thông tin
shape 0.181
texture 0.180
outline 0.106
color 0.106

Cây quyết định với dấu hỏi tại chỗ chia

Giảm Chiều Dữ Liệu với R

Ayo berlatih!

Giảm Chiều Dữ Liệu với R

Preparing Video For Download...