Mengurangi bias dalam pengumpulan data

Menaklukkan Bias Data

Konstantinos Kattidis

Data Analytics Lead

Mengidentifikasi bias dalam pengumpulan data

• Bias seleksi, bias historis, dan bias pengukuran
• Memahami bias ini membangun kesadaran, sehingga pakar data dapat mengidentifikasi dan menindaklanjutinya secara proaktif

• Analisis sensitivitas mengeksplorasi bagaimana asumsi berbeda, subkelompok alternatif, atau strategi pembobotan memengaruhi hasil analisis
• Validasi eksternal membandingkan data dengan sumber independen untuk memeriksa konsistensi dan akurasi

Sampling acak dan berstrata

• Memilih teknik sampling yang tepat itu penting
• Sampling acak memilih individu atau titik data dari populasi secara acak
• Sampling berstrata membagi populasi ke subkelompok lalu mengambil sampel dari tiap subkelompok

Menyeimbangkan representasi subkelompok

• Oversampling menambah representasi kelompok/kelas tertentu untuk menyeimbangkan distribusi
• Undersampling mengurangi representasi kelompok yang berlebih agar dataset lebih seimbang
• Pembobotan memberi bobot berbeda pada observasi sesuai pentingnya, untuk mengompensasi ketidakseimbangan sampel

Augmentasi data

• Untuk mengatasi bias historis, teknik ini memperkaya dataset dengan titik data tambahan
• Tujuannya mencakup periode atau peristiwa yang kurang terwakili
• Mencakup:
  • Mengisi celah data
  • Mendurukan perspektif
  • Memperbarui dan mengoreksi kesalahan

Praktik pengukuran data

• Standardisasi alat dan protokol pengukuran
• Pelatihan dan kalibrasi pengumpul data
• Uji coba (pilot) untuk menilai akurasi dan konsistensi prosedur pengumpulan data
• Pemeriksaan mutu rutin dan otomasi proses untuk meningkatkan kualitas data

Pemantauan dan penyesuaian berkelanjutan

• Pemantauan dan penyesuaian berkelanjutan penting untuk mengatasi bias baru
• Tinjauan rutin metrik kualitas data
• Penilaian bias
• Memungkinkan identifikasi bias secara cepat

Ayo berlatih!

Menaklukkan Bias Data