Integrasi data

Manajemen Data AI yang Bertanggung Jawab

Maria Prokofieva

Lead ML engineer

Yang akan dibahas

• Mengapa integrasi diperlukan
• Manfaat dan tantangannya
• Langkah integrasi data

Mengapa memiliki banyak sumber?

• Pandangan komprehensif dan rinci
• Jaring pengaman
• Keberagaman data dan keadilan
• Keterjelasan, transparansi, dan akuntabilitas

Waspadai masalah

• Mengompromikan kualitas data
• Memperkenalkan inkonsistensi
• Memperkuat bias
• Mengurangi representasi
• Kompleksitas model
• Transparansi dan keterjelasan berkurang

¹ Image by Streamline HQ

Langkah 1. Pemilihan sumber data

• Ikuti langkah evaluasi
• Nilai sumber data
• Dataset lebih seimbang dan komprehensif

Langkah 2. Selaraskan tipe data

• Identifikasi variabel umum
• Standarkan nama dan format
• Normalisasi data numerik
• Konsolidasikan data kategorikal
• Selaraskan tingkat granularitas

Langkah 3. Peningkatan bias dan representasi

• Pembobotan
  • Pengetahuan domain
  • Tetapkan bobot untuk kelompok kurang/lebih terwakili
• Penyeimbangan
  • Representasi setara
  • Over/undersampling
• Pemeriksaan algoritmik
• Analisis kesenjangan

Langkah 4. Dokumentasikan

• Catatan terperinci:
  • Langkah integrasi data
  • Keputusan yang diambil
• Metadata terperinci:
  • Sumber data
  • Metodologi pengumpulan
  • Transformasi yang diterapkan

Proyek arus lalu lintas perkotaan

• Pilih sumber data
• Identifikasi fitur umum
• Kembangkan Model Data Terpadu

¹ Images by Streamline HQ

Proyek arus lalu lintas perkotaan

• Gunakan teknik statistik untuk bias dan representasi
• Terapkan penyesuaian bobot
• Analisis kesenjangan dan pembobotan ulang
• Dokumentasikan

Ayo berlatih!

Manajemen Data AI yang Bertanggung Jawab