Catatan akhir

Menangani Data Hilang dengan Imputasi di R

Michal Oleszak

Machine Learning Engineer

Yang sudah Anda kuasai

Bab 1: Masalah data hilang:

  • Pemodelan data tidak lengkap perlu penanganan khusus.
  • Tiga mekanisme data hilang: MCAR, MAR, dan MNAR.
  • Visualisasi dan uji statistik memberi wawasan pola data hilang.

Bab 2: Imputasi berbasis donor:

  • Imputasi rata-rata biasanya pilihan buruk.
  • Imputasi hot-deck.
  • Imputasi k-Nearest Neighbors.
Menangani Data Hilang dengan Imputasi di R

Yang sudah Anda kuasai

Bab 3: Imputasi berbasis model

  • Melakukan loop atas variabel dan mengimputasi hingga konvergen.
  • Mereplikasi variabilitas data dengan mengambil dari distribusi kondisional.
  • Imputasi berbasis pohon dengan random forest.

Bab 4: Ketidakpastian dari imputasi

  • Multiple imputation dengan bootstrapping.
  • Multiple imputation dengan MICE.
Menangani Data Hilang dengan Imputasi di R

Memilih metode imputasi

Beberapa panduan umum:

  • Data sangat besar atau harus real-time di produksi?

    Gunakan imputasi hot-deck.

  • Mengetahui relasi spesifik antar variabel dari domain?

    Gunakan imputasi berbasis model.

  • Tidak perlu sangat cepat dan relasi antar variabel tidak jelas?

    Gunakan imputasi kNN atau berbasis pohon.

Menangani Data Hilang dengan Imputasi di R

Mengestimasi ketidakpastian dari imputasi

Beberapa panduan umum:

  • Harus relatif cepat?
  • Anda sudah punya ide model dan spesifikasinya?

Gunakan MICE.

  • Ingin metode nonparametrik (kNN, hot-deck)?
  • Tidak ingin repot asumsi model spesifik?

Gunakan bootstrapping.

Menangani Data Hilang dengan Imputasi di R

Langkah selanjutnya

  • miceVignettes:

    • Imputasi pasif dan pascapemrosesan
    • Imputasi data multilevel
    • Analisis sensitivitas

  • S. van Buuren (2018). Flexible Imputation of Missing Data. Edisi Kedua. CRC/Chapman & Hall, FL: Boca Raton.

  • Paket R lain: Amelia, mi

Sampul buku "Flexible Imputation of Missing Data" oleh Stef van Buuren.

Menangani Data Hilang dengan Imputasi di R

Selamat dan semoga sukses!

Menangani Data Hilang dengan Imputasi di R

Preparing Video For Download...