Metrik AI yang bertanggung jawab

Manajemen Data AI yang Bertanggung Jawab

Maria Prokofieva

Lead ML Engineer

Siklus hidup proyek AI

siklus hidup

Manajemen Data AI yang Bertanggung Jawab

Proyek AI yang bertanggung jawab

  • Patuhi hukum
  • Adil dan beragam
  • Praktik transparan, akuntabel, dan aman

 

Keberimbangan model:

  • Adil, bebas bias, dan hasilnya setara bagi semua

 

siklus hidup

Manajemen Data AI yang Bertanggung Jawab

Karakteristik yang dilindungi

  • Kelompok yang rentan diperlakukan tidak adil dan didiskriminasi
  • Ditetapkan oleh karakteristik yang dilindungi:
    • Ras
    • Etnis
    • Gender
    • Latar belakang sosial ekonomi

Sekelompok orang

Manajemen Data AI yang Bertanggung Jawab

Akuisisi data

  • Hasil setara
  • Kesenjangan demografis
  • Hukum dan regulasi

Orang memeriksa dokumen

Manajemen Data AI yang Bertanggung Jawab

AI dalam pengenalan wajah

  • Akurasi tinggi

TETAPI

  • Gagal mengenali etnis atau gender tertentu

MENGAPA...

Kurang:

  • Ketersediaan data
  • Keberagaman
  • Representasi

 

wajah

Manajemen Data AI yang Bertanggung Jawab

Hasil setara dan kesenjangan demografis

Hasil yang setara: manfaat setara di semua kelompok

Kesenjangan demografis bersyarat: perbedaan antarkelompok

  • Gunakan statistik deskriptif dan distribusi untuk menilai keberagaman data
  • Langkah korektif: pembobotan dan penyeimbangan
  • Tinjau ulang setelah pemodelan
  • Catat semua pengujian

Kesetaraan

Manajemen Data AI yang Bertanggung Jawab

Pemodelan

  • Kinerja setara

Contoh, diagnosis medis:

  • Beberapa lebih umum pada kelompok terlindungi

 

  • Nilai false negative, false positive, dan akurasi
  • Keterjelasan (explainability):
    • Local Interpretable Model-agnostic Explanation (LIME)
    • Shapley Additive Explanation (SHAP)

 

Papan target dengan tembakan meleset

Manajemen Data AI yang Bertanggung Jawab

Deploy dan pemantauan

  • Pergeseran model:
    • Perubahan kinerja model seiring waktu

 

  • Pantau distribusi
  • Metrik kinerja teknis
  • Sesuaikan model
  • Catat terus!
Manajemen Data AI yang Bertanggung Jawab

Menerapkan metrik

  • Pahami karakteristik yang dilindungi
  • Masih banyak metrik lainnya!
  • Selalu konsultasikan dengan pakar hukum dan domain
  • Lakukan pemeriksaan privasi dan keamanan

Dimensi data yang bertanggung jawab

Manajemen Data AI yang Bertanggung Jawab

Ayo berlatih!

Manajemen Data AI yang Bertanggung Jawab

Preparing Video For Download...