Data hilang dan imputasi

Pengantar Python di Power BI

Jacob H. Marquez

Data Scientist

Apa itu data hilang?

Nilai umum untuk “hilang”:

  • null
  • NA
  • 99
  • ""
Pengantar Python di Power BI

Apa itu data hilang?

Nilai umum untuk “hilang”:

  • null
  • NA
  • 99
  • ""
entity year fished
Australia 1988 153148
Australia 1989 null
Australia 1990 567895
Australia 1991 632987
Australia 1992 643578
Australia 1993 null
Pengantar Python di Power BI

Mengapa data hilang?

  • Peserta lupa atau menolak menjawab pertanyaan survei
  • Peserta keluar sebelum bagian kedua studi
  • Ada gangguan pada instrumen pengukuran
  • Hukum privasi membatasi penggunaan data
Pengantar Python di Power BI

Apakah hilangnya acak?

Missing at random

Tabel curah hujan (inci) di tiga kota—Seattle, New York City, dan Paris.

Pengantar Python di Power BI

Apakah hilangnya acak?

Missing not at random

Tabel curah hujan (inci) di tiga kota—Seattle, New York City, dan Paris. Satu baris dari Seattle hilang.

Pengantar Python di Power BI

Apakah hilangnya acak?

Missing not at random

Tabel curah hujan (inci) di tiga kota—Seattle, New York City, dan Paris. Satu baris dari Seattle hilang.

  • Instrumen tak dapat mendeteksi nilai rendah
  • Kelompok tertentu cenderung tidak mengungkapkan informasi
Pengantar Python di Power BI

Cara menangani data hilang

Missing not at random

  • Jeda analisis
  • Pahami alasan data hilang
  • Kumpulkan data tambahan
  • Dokumentasikan batasan dan asumsi dengan jelas

Missing at random

  • Hapus observasi
  • Tambah variabel indikator: hilang = 1, tidak = 0
  • Imputasi
Pengantar Python di Power BI

Imputasi

Definisi: mengganti nilai hilang dengan nilai lain.

Jenis imputasi:

  • Mean
  • Median
  • Mode
  • Nilai sebelumnya atau berikutnya

Terbaik saat ≤5% data kolom hilang.

Ingat untuk mengurutkan nilai!

Pengantar Python di Power BI

Imputasi - Contoh

Missing at random

Tabel curah hujan (inci) di tiga kota—Seattle, New York City, dan Paris—dengan observasi hilang.

Imputasi median

Tabel curah hujan (inci) di tiga kota—Seattle, New York City, dan Paris. Observasi hilang diisi dengan median per kota.

Pengantar Python di Power BI

Dataset

Invoice StockCode Description Quantity InvoiceDate Price Customer ID
506303 PADS PADS TO MATCH ALL CUSHIONS 1 4/29/2010 10:43:00 AM 0.001 14249
496725 M Manual 1 2/3/2010 2:16:00 PM 1.5 13619
502660 M Manual 6 3/25/2010 5:18:00 PM 1.5 13187
509669 90214S LETTER "S" BLING KEY RING 10 12/13/2009 3:54:00 PM 1.25 16725
Pengantar Python di Power BI

Ayo berlatih!

Pengantar Python di Power BI

Preparing Video For Download...