Validasi data

Manajemen Data AI yang Bertanggung Jawab

Maria Prokofieva

Lead ML engineer

Yang akan dibahas

  • Validasi data
  • Dimensi tanggung jawab
  • Penasihat keuangan AI

validasi

Manajemen Data AI yang Bertanggung Jawab

Validasi data

  • Pendekatan lebih terukur
  • Periksa integritas teknis data
  • Periksa keadilan

validasi data

Manajemen Data AI yang Bertanggung Jawab

Integritas teknis

  • Data lengkap
  • Tanpa duplikasi, kesalahan, atau data usang
  • Patuhi hukum
  • Cek akurasi, konsistensi, kelengkapan, dan ketepatan waktu

Dimensi data yang bertanggung jawab

Manajemen Data AI yang Bertanggung Jawab

Penasihat keuangan: integritas teknis

  • Ketidaksesuaian dan anomali pada data
  • Field salah penugasan
  • Temukan dan koreksi sejak awal

contoh kategori salah

Manajemen Data AI yang Bertanggung Jawab

Penasihat keuangan: integritas teknis

  • Anomali pada periode dan metode pengumpulan data
  • Kesenjangan ekonomi regional
  • Tidak dioptimalkan untuk semua kelompok pengguna

anomali dalam metode pengumpulan data

Manajemen Data AI yang Bertanggung Jawab

Penilaian keadilan

  • Kesetaraan kesempatan
  • Dampak berbeda
  • Paritas demografis
  • Diterapkan di semua tahap proyek

 

Penasihat keuangan:

  • Semua individu menerima saran yang relevan dan bermanfaat
  • Rekomendasi seragam di semua kelompok demografis
  • Tidak ada kelompok yang terdampak secara tidak proporsional
Manajemen Data AI yang Bertanggung Jawab

Pendekatan validasi data

  • Identifikasi variabel kunci
  • Analisis distribusi data
  • Bersihkan data dan terapkan uji statistik
  • Seimbangkan data
  • Periksa metrik keadilan
  • Uji model dengan beragam set data
Manajemen Data AI yang Bertanggung Jawab

Penasihat keuangan

logo penasihat

  • Hapus outlier dan imputasi nilai hilang
  • Validasi dengan statistik deskriptif sebelum dan sesudah
  • Oversampling untuk kelompok berpenghasilan rendah
  • Periksa kinerja model dan metrik keadilan
  • Validasi silang dengan stratifikasi
  • Uji pada data "tak terlihat"
Manajemen Data AI yang Bertanggung Jawab

Ayo berlatih!

Manajemen Data AI yang Bertanggung Jawab

Preparing Video For Download...