Veri doğrulamada en iyi uygulamalar

Sorumlu AI Veri Yönetimi

Maria Prokofieva

Lead ML engineer

Neleri ele alacağız

• Alt grup analizi
• Eksik değerler
• Aykırı değer temizleme
• Veri tutarsızlıklarını düzeltme
• Özellik ölçekleme
• Özellik kodlama
• Boyut indirgeme

Alt grup analizi

Eksik veriler

• Büyük veri kümelerinde yaygın
• Veri silme
• Atama stratejileri ve modele dayalı yaklaşımlar
• Doğrulama için alt grup analizi

Aykırı değer temizleme

• z-puanları, IQR gibi istatistiksel yöntemler veya sağlam ölçekleme
• Veri kesitleri arasında adil muameleyi doğrulayın

Veri tutarsızlıkları

• Veri kalitesi, model bütünlüğü ve güvenilirliğini etkiler
• Veri standartlaştırma ve doğrulama kuralları
• Alt grup normalizasyonu

Özellik ölçekleme

• Girdileri dönüştürmek için özellik ölçekleme
• Gruplar arası dağılımları kontrol ederek doğrulayın

Özellik kodlama

• Kodlamanın sonuçlara etkisini değerlendirin
• Önyargı ve bilgi kaybını kontrol edin
• Aşırı uyumu kontrol edin
• Düzenlileştirme ve boyut indirgeme kullanın

Boyut indirgeme

• Girdileri azaltın, temel bilgiyi koruyun
• Önyargı oluşturabilir
• t-SNE gibi adil yaklaşımlar kullanın

Finansal danışman

• "Yıllık gelir" ve "Yatırım sıklığı" özellikleri
• Aykırı değerleri düzeltin ve ölçekleyin
• Alt grup analizi

Hadi pratik yapalım!

Sorumlu AI Veri Yönetimi