Tầm quan trọng của giảm chiều dữ liệu và xây dựng mô hình

Giảm Chiều Dữ Liệu với R

Matt Pickard

Owner, Pickard Predictives, LLC

Lời nguyền chiều dữ liệu

  • dữ liệu nhiều chiều gây khó khăn
  • tăng nhẹ số chiều → cần dữ liệu tăng theo cấp số mũ
    • dữ liệu thưa → thiên lệch và quá khớp

bảng với giá trị giới tính và cựu binh

Giảm Chiều Dữ Liệu với R

Lời nguyền chiều dữ liệu

  • các vấn đề với dữ liệu nhiều chiều
  • tăng nhẹ số chiều → dữ liệu cần tăng theo cấp số mũ
    • dữ liệu thưa → thiên lệch và quá khớp

bảng có thêm biến cựu binh và giới tính

Giảm Chiều Dữ Liệu với R

Lời nguyền chiều dữ liệu

bảng có thêm biến nhóm máu

Giảm Chiều Dữ Liệu với R

Lời nguyền chiều dữ liệu

bảng có thêm biến nhóm máu

Giảm Chiều Dữ Liệu với R

Thưa thớt

mọi tổ hợp giá trị biến

Giảm Chiều Dữ Liệu với R

Thưa thớt

mọi tổ hợp giá trị biến so với dữ liệu thu thập thực tế

Giảm Chiều Dữ Liệu với R

Thưa thớt

không phải mọi tổ hợp đều xuất hiện trong mẫu thực tế

Giảm Chiều Dữ Liệu với R

Độ thưa: tập huấn luyện và kiểm tra

tập huấn luyện và kiểm tra đều cần đại diện ít nhất mười sáu quan sát

Giảm Chiều Dữ Liệu với R

Độ thưa: tập huấn luyện và kiểm tra

tập huấn luyện và kiểm tra đều cần đại diện ít nhất mười sáu quan sát

Giảm Chiều Dữ Liệu với R

Độ thưa: tập huấn luyện và kiểm tra

tập huấn luyện và kiểm tra đều cần đại diện cả mười sáu quan sát bốn lần

Giảm Chiều Dữ Liệu với R

Độ thưa: tập huấn luyện và kiểm tra

tập huấn luyện và kiểm tra đều cần đại diện cả mười sáu quan sát bốn lần

Giảm Chiều Dữ Liệu với R

Tính số quan sát tối thiểu

blood_type_df <- 
  expand_grid(
    gender = c("Female", "Male"),
    veteran = c("Yes", "No"),
    bloodtype = c("A", "B", "AB", "O")
)

# A tibble: 16 × 3
   gender veteran bloodtype
   <chr>  <chr>   <chr>    
 1 Female Yes     A        
 2 Female Yes     B        
 3 Female Yes     AB       
 4 Female Yes     O        
 5 Female No      A        
 6 Female No      B        
 7 Female No      AB       
 8 Female No      O        
 9 Male   Yes     A              
   ...    ...     ...
Giảm Chiều Dữ Liệu với R

Tính số quan sát tối thiểu

blood_type_df %>% 
  summarize(across(everything(), ~ length(unique(.)))) %>%

  prod()

16

LƯU Ý: Đây là số để mỗi tổ hợp xuất hiện đúng 1 lần!

Giảm Chiều Dữ Liệu với R

Nhiều lần đại diện cho mỗi tổ hợp

blood_type_df %>% 
  summarize(across(everything(), ~ length(unique(.))) %>% 
  prod() * 4  

128
Giảm Chiều Dữ Liệu với R

Ayo berlatih!

Giảm Chiều Dữ Liệu với R

Preparing Video For Download...