Praktik terbaik validasi data

Manajemen Data AI yang Bertanggung Jawab

Maria Prokofieva

Lead ML engineer

Cakupan materi

• Analisis subkelompok
• Nilai hilang
• Penghapusan outlier
• Koreksi inkonsistensi data
• Penskalaan fitur
• Pengodean fitur
• Reduksi dimensi

Analisis subkelompok

Data hilang

• Umum pada dataset besar
• Penghapusan data
• Strategi imputasi dan pendekatan berbasis model
• Analisis subkelompok untuk validasi

Penghapusan outlier

• Metode statistik seperti z-score dan IQR, atau penskalaan robust
• Validasi perlakuan adil di seluruh segmen data

Inkonsistensi data

• Kualitas data memengaruhi integritas dan keandalan model
• Standardisasi data dan aturan validasi
• Normalisasi per subkelompok

Penskalaan fitur

• Penskalaan fitur untuk mentransformasi fitur input
• Validasi dengan membandingkan distribusi antar grup

Pengodean fitur

• Nilai pengaruh pengodean pada output
• Periksa bias dan hilangnya informasi
• Periksa overfitting
• Gunakan regularisasi dan reduksi dimensi

Reduksi dimensi

• Kurangi fitur input dan pertahankan informasi inti
• Dapat menimbulkan bias
• Gunakan teknik sadar-keadilan seperti t-SNE

Penasihat keuangan

• Fitur "Annual income" dan "Investment frequency"
• Sesuaikan outlier dan lakukan penskalaan
• Analisis subkelompok

Ayo berlatih!

Manajemen Data AI yang Bertanggung Jawab