Veri entegrasyonu

Sorumlu AI Veri Yönetimi

Maria Prokofieva

Lead ML engineer

Neleri ele alacağız

• Entegrasyon neden gereklidir
• Yararları ve zorlukları
• Veri entegrasyon adımları

Neden birden çok kaynak?

• Kapsamlı, ayrıntılı görünüm
• Güvence ağı
• Veri çeşitliliği ve adalet
• Açıklanabilirlik, şeffaflık ve hesap verebilirlik

Sorunlara dikkat

• Veri kalitesini zedeleyebilir
• Tutarsızlıklar getirebilir
• Önyargıları artırabilir
• Temsili azaltabilir
• Model karmaşıklığı
• Azalan şeffaflık ve açıklanabilirlik

¹ Görsel: Streamline HQ

Adım 1. Veri kaynağı seçimi

• Değerlendirme adımlarını izleyin
• Veri kaynaklarını değerlendirin
• Daha dengeli ve kapsamlı bir veri kümesi

Adım 2. Veri türlerini hizalama

• Ortak değişkenleri belirleyin
• Adları ve biçimleri standartlaştırın
• Sayısal veriyi normalize edin
• Kategorik veriyi birleştirin
• Veri ayrıntı düzeyini hizalayın

Adım 3. Önyargı ve temsili güçlendirme

• Ağırlıklandırma
  • Alan bilgisi
  • Az ya da aşırı temsil edilen gruplara ağırlık verin
• Dengeleme
  • Eşit temsil
  • Aşırı örnekleme ya da az örnekleme
• Algoritmik kontroller
• Boşluk analizi

Adım 4. Belgelendirme

• Ayrıntılı kayıtlar:
  • Veri entegrasyon adımları
  • Alınan kararlar
• Ayrıntılı üstveri:
  • Veri kaynakları
  • Toplama yöntemi
  • Uygulanan dönüşüm

Kentsel trafik akışı projesi

• Veri kaynaklarını seçin
• Ortak özellikleri belirleyin
• Birleşik Veri Modeli geliştirin

¹ Görseller: Streamline HQ

Kentsel trafik akışı projesi

• Önyargı ve temsil için istatistiksel teknikler kullanın
• Ağırlık ayarlamaları uygulayın
• Boşluk analizi ve yeniden ağırlıklandırma
• Belgelendirme

Hadi pratik yapalım!

Sorumlu AI Veri Yönetimi