Phụ thuộc của dữ liệu thiếu

Xử lý dữ liệu thiếu trong R

Nicholas Tierney

Statistician

Đề cương

  • MCAR Missing Completely at Random

  • MAR Missing At Random

  • MNAR Missing Not At Random

Xử lý dữ liệu thiếu trong R

MCAR: Là gì?

Tính thiếu vắng không liên quan đến bất kỳ dữ liệu nào bạn đã quan sát hoặc chưa quan sát.

test vacation
NA TRUE
11.533340 FALSE
10.126115 TRUE
NA FALSE
NA TRUE
8.551881 FALSE
NA FALSE
NA TRUE
10.608264 TRUE
Xử lý dữ liệu thiếu trong R

MCAR: Hệ quả là gì

Hệ quả

  • Nên nội suy (impute)
  • Xóa quan sát có thể giảm kích thước mẫu, hạn chế suy luận, nhưng không gây sai lệch
  • Bạn nên nội suy dữ liệu
Xử lý dữ liệu thiếu trong R

MAR: Là gì?

Tính thiếu vắng phụ thuộc vào dữ liệu đã quan sát, không phụ thuộc vào dữ liệu chưa quan sát.

Hệ quả:

  • Nội suy
  • Không nên xóa quan sát, có thể gây sai lệch
test vacation depression
NA TRUE 87.93109
11.533340 FALSE 40.02708
10.126115 TRUE 48.62883
NA FALSE 88.21743
NA TRUE 90.29282
8.551881 FALSE 44.77343
NA FALSE 89.48865
NA TRUE 89.99209
10.608264 TRUE 45.56832
Xử lý dữ liệu thiếu trong R

MNAR: Là gì?

Tính thiếu vắng của biến phản hồi liên quan đến một giá trị không quan sát được, có ý nghĩa với phép đánh giá quan tâm.

Hệ quả:

  • Dữ liệu sẽ bị sai lệch nếu xóa hoặc nội suy
  • Suy luận bị hạn chế, cần thận trọng.
test vacation depression
NA TRUE NA
11.533340 FALSE 11.533340
10.126115 TRUE 10.126115
NA FALSE NA
NA TRUE NA
8.551881 FALSE 8.551881
NA FALSE NA
NA TRUE NA
10.608264 TRUE 10.608264
Xử lý dữ liệu thiếu trong R

Ví dụ: MCAR

vis_miss(mt_cars, cluster = TRUE)

Xử lý dữ liệu thiếu trong R

Ví dụ: MAR

oceanbuoys %>% arrange(year) %>% vis_miss()

Xử lý dữ liệu thiếu trong R

Ví dụ: MNAR

vis_miss(ocean, cluster = TRUE)

Xử lý dữ liệu thiếu trong R

Cùng luyện tập nào!

Xử lý dữ liệu thiếu trong R

Preparing Video For Download...