Những lưu ý cuối

Xử lý dữ liệu khuyết bằng Imputation trong R

Michal Oleszak

Machine Learning Engineer

Bạn đã biết

Chương 1: Bài toán thiếu dữ liệu:

  • Mô hình hóa dữ liệu khuyết cần xử lý đặc biệt.
  • 3 cơ chế thiếu dữ liệu: MCAR, MAR, MNAR.
  • Trực quan hóa và kiểm định thống kê giúp hiểu mẫu thiếu dữ liệu.

Chương 2: Bù khuyết dựa trên mẫu cho:

  • Bù trung bình thường là lựa chọn kém.
  • Bù hot-deck.
  • Bù k-Nearest Neighbors (kNN).
Xử lý dữ liệu khuyết bằng Imputation trong R

Bạn đã biết

Chương 3: Bù khuyết dựa trên mô hình

  • Lặp qua biến và bù đến khi hội tụ.
  • Tái tạo biến thiên bằng cách lấy mẫu từ phân phối có điều kiện.
  • Bù dựa trên cây dùng random forest.

Chương 4: Độ bất định do bù khuyết

  • Bù khuyết nhiều lần bằng bootstrapping.
  • Bù khuyết nhiều lần với MICE.
Xử lý dữ liệu khuyết bằng Imputation trong R

Chọn phương pháp bù khuyết nào?

Một số gợi ý nhanh:

  • Dữ liệu rất lớn hoặc cần chạy thời gian thực trên production?

    Dùng bù hot-deck.

  • Có nghi ngờ quan hệ cụ thể giữa các biến theo hiểu biết miền?

    Dùng bù dựa trên mô hình.

  • Không cần quá nhanh và quan hệ biến chưa rõ?

    Dùng kNN hoặc bù dựa trên cây.

Xử lý dữ liệu khuyết bằng Imputation trong R

Ước lượng bất định từ bù khuyết thế nào?

Một số gợi ý nhanh:

  • Cần tương đối nhanh?
  • Bạn biết dùng mô hình nào và cách đặc tả?

Dùng MICE.

  • Muốn dùng phương pháp phi tham số (kNN, hot-deck)?
  • Không muốn bận tâm giả định của mô hình cụ thể?

Dùng bootstrapping.

Xử lý dữ liệu khuyết bằng Imputation trong R

Bước tiếp theo

  • miceVignettes:

    • Bù thụ động và hậu xử lý
    • Bù dữ liệu đa cấp
    • Phân tích độ nhạy

  • S. van Buuren (2018). Flexible Imputation of Missing Data. Second Edition. CRC/Chapman & Hall, FL: Boca Raton.

  • Gói R khác: Amelia, mi

Bìa sách "Flexible Imputation of Missing Data" của Stef van Buuren.

Xử lý dữ liệu khuyết bằng Imputation trong R

Chúc mừng và chúc may mắn!

Xử lý dữ liệu khuyết bằng Imputation trong R

Preparing Video For Download...