Dữ liệu thiếu có ngẫu nhiên không?

Xử lý Dữ liệu Khuyết trong Python

Suraj Donthi

Deep Learning & Computer Vision Consultant

Các lý do có thể khiến dữ liệu thiếu

Lưu ý $-$ (variable $\rightarrow$ trường dữ liệu hoặc cột trong DataFrame)

  • Giá trị thiếu ngẫu nhiên theo thời điểm hoặc khoảng trong một biến
  • Giá trị thiếu do một biến khác
  • Giá trị thiếu do chính biến đó hoặc biến khác cũng bị thiếu
Xử lý Dữ liệu Khuyết trong Python

Các loại thiếu dữ liệu

  1. Thiếu hoàn toàn ngẫu nhiên (MCAR)
  2. Thiếu ngẫu nhiên (MAR)
  3. Thiếu không ngẫu nhiên (MNAR)
Xử lý Dữ liệu Khuyết trong Python

Thiếu hoàn toàn ngẫu nhiên (MCAR)

Định nghĩa:

"Sự thiếu không có quan hệ với bất kỳ giá trị nào, đã quan sát hoặc thiếu"

Ví dụ về Thiếu hoàn toàn ngẫu nhiên

Xử lý Dữ liệu Khuyết trong Python

MCAR - Ví dụ

msno.matrix(diabetes)

Thiếu hoàn toàn ngẫu nhiên cho bộ dữ liệu diabetes

Xử lý Dữ liệu Khuyết trong Python

Thiếu ngẫu nhiên (MAR)

Định nghĩa:

"Có mối quan hệ có hệ thống giữa sự thiếu và dữ liệu đã quan sát khác, nhưng không với dữ liệu bị thiếu"

Ví dụ về Thiếu ngẫu nhiên

Xử lý Dữ liệu Khuyết trong Python

MAR - Ví dụ

msno.matrix(diabetes)

Thiếu ngẫu nhiên (MAR) cho bộ dữ liệu diabetes

Xử lý Dữ liệu Khuyết trong Python

Thiếu không ngẫu nhiên (MNAR)

Định nghĩa:

"Có mối quan hệ giữa sự thiếu và chính các giá trị đó, thiếu hoặc không thiếu"

Ví dụ về Thiếu không ngẫu nhiên (MNAR)

Xử lý Dữ liệu Khuyết trong Python

MNAR - Ví dụ

  • Mẫu thiếu của diabetes khi sắp theo Serum_Insulin
sorted = diabetes.sort_values('Serum_Insulin')
msno.matrix(sorted)

Thiếu không ngẫu nhiên cho bộ dữ liệu diabetes

Xử lý Dữ liệu Khuyết trong Python

Tóm tắt

  • Các lý do có thể gây thiếu
    • Thiếu hoàn toàn ngẫu nhiên (MCAR),
    • Thiếu ngẫu nhiên (MAR) hoặc
    • Thiếu không ngẫu nhiên (MNAR)
  • Phát hiện mẫu thiếu bằng cách sắp xếp biến
  • Ánh xạ thiếu vào MCAR, MAR & MNAR
Xử lý Dữ liệu Khuyết trong Python

Ayo berlatih!

Xử lý Dữ liệu Khuyết trong Python

Preparing Video For Download...