Audit data

Manajemen Data AI yang Bertanggung Jawab

Maria Prokofieva

Lead ML engineer

Topik yang dibahas

• Audit data
• Validasi data
• Strategi mitigasi bias

Audit data

• Tinjauan data lengkap sepanjang siklus proyek

• Periksa kesiapan teknis dan tanggung jawabnya

• Dilakukan setelah perubahan besar pada proyek

• Dokumentasi diperbarui untuk audit

Melakukan audit data

• Dilakukan sering
• Pastikan isu tidak masuk tanpa sengaja
• Cegah komplikasi dan amplifikasi error
• Tetap transparan dan akuntabel
• Bangun kepercayaan

Penasihat Keuangan AI

• Profil perilaku dan tujuan rencana
• Susun strategi
• Selaraskan tujuan dengan produk investasi
• Buat portofolio investasi

Sumber data:

• Data pengguna dari chat dan unggahan
• Data eksternal real-time dan historis (Bloomberg)

¹ Gambar oleh Streamline HQ

Sumber data proyek

• Data dari pengguna
• Data eksternal dari API

¹ Gambar oleh Streamline HQ

Penyiapan audit data

Gunakan Data Management Plan:

• Rincian data
• Frekuensi audit
• Uji yang diperlukan
• Anggota tim yang ditugaskan

¹ Gambar oleh Streamline HQ

Jadwal audit data

• Eksplorasi data awal
• Audit rutin untuk prapemrosesan dan pemodelan
• Perubahan data yang signifikan

¹ Gambar oleh Streamline HQ

Audit data berkelanjutan

• Pemantauan berkelanjutan
• Kualitas data dan kepatuhan
• Kinerja model dan metrik keadilan
• Penggunaan dan penyimpanan data
• Keamanan dan skalabilitas

Model drift

• Akurasi model bisa menurun seiring waktu
• Perubahan sosial, kondisi pasar, atau variabel dasar
• Deteksi drift dengan mencatat prediksi dan menilai metrik kinerja
• Beri peringatan jika metrik melewati ambang
• Perbaiki dengan menambah data baru atau melatih ulang model

Audit data penasihat keuangan AI

• Eksplorasi data awal
• Prapemrosesan: transformasi dan pembersihan
• Pemodelan dengan asesmen keadilan
• Audit pra-deployment
• Pemantauan berkelanjutan

¹ Gambar oleh Streamline HQ

Ayo berlatih!

Manajemen Data AI yang Bertanggung Jawab