Giới thiệu về dữ liệu thiếu
Xử lý dữ liệu thiếu trong R
Nicholas Tierney
Statistician
Giới thiệu
Điều tốt nhất khi xử lý dữ liệu thiếu là đừng để thiếu ngay từ đầu
--Gertrude Mary Cox
Làm việc với dữ liệu thực tế = làm việc với dữ liệu thiếu
Dữ liệu thiếu có thể gây tác động bất ngờ lên phân tích của bạn
Nội suy tệ dẫn đến ước lượng kém và quyết định sai.
Bạn sẽ học gì
- Dữ liệu thiếu là gì
- Cách tìm dữ liệu thiếu
- Cách xử lý và làm gọn dữ liệu thiếu
- Tìm hiểu vì sao dữ liệu bị thiếu
- Nội suy giá trị bị thiếu
Kiến thức giả định
- Kinh nghiệm từ cơ bản đến trung cấp với R
- Có kinh nghiệm vẽ biểu đồ bằng ggplot2
- Có kinh nghiệm dùng dplyr để biến đổi và sắp xếp dữ liệu
- Có kinh nghiệm khớp mô hình tuyến tính trong R
Giá trị thiếu là gì?
Giá trị thiếu là giá trị lẽ ra phải được ghi lại nhưng không có.
NA = Not Available (không có sẵn).
Làm sao kiểm tra có giá trị thiếu?
x <- c(1, NA, 3, NA, NA, 5)any_na(x)
TRUE
are_na(x)
FALSE TRUE FALSE TRUE TRUE FALSE
n_miss(x)
3
prop_miss(x)
0.5
Làm việc với dữ liệu thiếu
NA + bất kỳ thứ gì = NA
heights
Sophie Dan Fred
165 177 NA
sum(heights)
NA
Những lưu ý với dữ liệu thiếu
NaN: Not a Number.
any_na(NaN)
TRUE
any_na(NULL)
FALSE
any_na(Inf)
FALSE
Những lưu ý với dữ liệu thiếu (2)
NA | TRUE
TRUE
NA | FALSE
NA
NA + NaN
NA
NaN + NA
NaN
Cùng luyện tập nào!
Xử lý dữ liệu thiếu trong R
