Tìm và thay thế giá trị khuyết

Xử lý dữ liệu thiếu trong R

Nicholas Tierney

Statistician

Nội dung sẽ học

Cách tìm giá trị khuyết ẩn
Thay nhãn giá trị khuyết bằng NA
Kiểm tra giả định về tính thiếu dữ liệu

Tìm và thay thế giá trị khuyết

Lý tưởng = NA
Giá trị khuyết có thể được mã hóa sai: ví dụ "missing", "Not Available", "N/A"
Giả định rằng giá trị khuyết đều được mã hóa là NA. Đây là sai lầm.

Hiểu sự hỗn độn

score	grade	place
3	N/A	-99
-99	E	97
4	missing	95
-99	na	92
7	n/a	-98
10		missing
12	.	88
16		.
9	N/a	86

Tìm giá trị khuyết

miss_scan_count()

chaos %>%
  miss_scan_count(search = list("N/A"))

# A tibble: 3 x 2
  Variable     n
  <chr>    <int>
1 score        0
2 grade        1
3 place        0

Tìm giá trị khuyết

chaos %>%
  miss_scan_count(search = list("N/A",
                                "N/a"))

# A tibble: 3 x 2
  Variable     n
  <chr>    <int>
1 score        0
2 grade        2
3 place        0

Thay thế giá trị khuyết

chaos %>%
  replace_with_na(replace = list(grade = c("N/A", "N/a")))

# A tibble: 9 x 3
  score grade   place  
  <dbl> <chr>   <chr>  
1     3 NA      -99    
2   -99 E       97     
3     4 missing 95     
4   -99 na      92     
5     7 n/a     -98    
6    10 " "     missing
7    12 .       88     
8    16 ""      .      
9     9 NA      86

Các biến thể "scoped" của replace_with_na

replace_with_na có thể lặp lại:
- Dùng cho nhiều biến và giá trị khác nhau
- Trường hợp phức tạp: thay giá trị nhỏ hơn -1, chỉ tác động cột kiểu ký tự.
replace_with_na_all() Tất cả biến.
replace_with_na_at() Một phần biến được chọn.
replace_with_na_if() Một phần biến thỏa điều kiện (numeric, character).

Dùng các biến thể scoped của replace_with_na

chaos %>%
  replace_with_na_all(condition = ~.x == -99)

# A tibble: 9 x 3
  score grade   place  
  <dbl> <chr>   <chr>  
1     3 N/A     NA     
2    NA E       97     
3     4 missing 95     
4    NA na      92     
5     7 n/a     -98    
6    10 " "     missing
7    12 .       88     
8    16 ""      .      
9     9 N/a     86

Dùng các biến thể scoped của replace_with_na

chaos %>% 
  replace_with_na_all(condition = ~.x %in% c("N/A", "missing", "na"))

# A tibble: 9 x 3
  score grade place
  <dbl> <chr> <chr>
1     3 NA    -99  
2   -99 E     97   
3     4 NA    95   
4   -99 NA    92   
5     7 n/a   -98  
6    10 " "   NA   
7    12 .     88   
8    16 ""    .    
9     9 N/a   86

Cùng luyện tập nào!

Xử lý dữ liệu thiếu trong R