Database dan pemeriksaan kualitas

Mendemistifikasi Decision Science

Howard Friedman

Adjunct Professor at Columbia University

Triase sumber data

Tidak semua data sama bermanfaat

  • Beberapa dataset perlu pembersihan berat atau kurang fitur bermakna
  • Lainnya mungkin tidak sepadan dengan upaya sama sekali

 

Triase data membantu cepat memprioritaskan

  • Nilai kelayakan dataset sebelum menginvestasikan waktu dan sumber daya

Mulai dari ketersediaan

  • Apakah data mudah diakses atau di balik paywall
  • Ada hambatan izin atau keamanan
  • Menyelesaikan ini lebih awal mencegah pemborosan upaya

triage.png

Mendemistifikasi Decision Science

Pemeriksaan kunci

Pertimbangkan biaya

  • Ada biaya lisensi atau akses
  • Perlu bayar penyimpanan atau alat khusus

Evaluasi utilitas

  • Apakah dataset berisi yang Anda butuhkan untuk analisis
  • Periksa cakupan, detail, kelengkapan, dan relevansi fitur

Periksa frekuensi pembaruan

  • Prediksi real-time butuh data real-time atau rutin diperbarui
  • Siklus pembaruan yang tidak selaras bisa membuat data tidak terpakai

Nilai resolusi geografis

  • Apakah data selaras dengan tingkat spasial yang diperlukan analisis Anda
  • Data level nasional tidak membantu jika perlu granularitas kode pos
Mendemistifikasi Decision Science

Pemeriksaan kualitas data

Kualitas data itu penting

  • Data buruk merusak model dan keputusan
  • "Garbage in, garbage out" benar adanya dalam decision science

GIGO.png

Waspadai missingness

  • Persentase nilai hilang di tiap kolom
  • Pola yang menyiratkan masalah pengumpulan data yang lebih dalam

Lakukan pemeriksaan rentang dasar

  • Ada nilai yang tidak masuk akal untuk konteks Anda
  • Contoh: age = 450 atau price = -$10
  • Gunakan pemeriksaan untuk menandai isu besar sejak awal
Mendemistifikasi Decision Science

Pemeriksaan lanjutan

Tinjau outlier

  • Gunakan histogram atau boxplot untuk visualisasi
  • Diskusikan dengan pemangku kepentingan sebelum mengecualikan apa pun

Nilai ketepatan waktu

  • Tanyakan apakah data cukup terbaru untuk relevan
  • Konteks cepat perlu data yang sering diperbarui

Pastikan konsistensi format

  • Cari format tanggal tidak konsisten, ejaan salah, atau ketidaksesuaian nama kolom
  • Bersihkan dan standarkan untuk menghindari masalah saat analisis

QA.png

Mendemistifikasi Decision Science

Ayo berlatih!

Mendemistifikasi Decision Science

Preparing Video For Download...