Integrace dat

Zodpovědná správa dat v AI

Maria Prokofieva

Lead ML engineer

Co si probereme

• Proč je integrace nezbytná
• Její přínosy a komplikace
• Kroky integrace dat

Proč mít více zdrojů?

• Komplexní podrobný přehled
• Záchranná síť
• Rozmanitost a spravedlnost dat
• Vysvětlitelnost, transparentnost a odpovědnost

Pozor na rizika

• Ohrožení kvality dat
• Zavedení nekonzistencí
• Zesílení zaujatostí
• Snížení reprezentace
• Složitost modelu
• Snížení transparentnosti a vysvětlitelnosti

¹ Image by Streamline HQ

Krok 1. Výběr zdrojů dat

• Dodržení hodnotících kroků
• Posouzení zdrojů dat
• Vyváženější a komplexnější datová sada

Krok 2. Sladění datových typů

• Identifikace společných proměnných
• Standardizace názvů a formátů
• Normalizace numerických dat
• Konsolidace kategorických dat
• Sladění granularity dat

Krok 3. Vylepšení zaujatosti a reprezentace

• Vážení
  • Znalost domény
  • Přiřazení vah pod- nebo nadreprezentovaným skupinám
• Vyvažování
  • Rovnoměrné zastoupení
  • Over- nebo undersampling
• Algoritmické kontroly
• Analýza mezer

Krok 4. Dokumentace

• Podrobné záznamy:
  • Kroky integrace dat
  • Přijatá rozhodnutí
• Podrobná metadata:
  • Zdroje dat
  • Metodologie sběru
  • Použité transformace

Projekt dopravního toku ve městě

• Výběr zdrojů dat
• Identifikace společných prvků
• Vytvoření jednotného datového modelu

¹ Images by Streamline HQ

Projekt dopravního toku ve městě

• Použití statistických technik pro zaujatost a reprezentaci
• Aplikace váhových úprav
• Analýza mezer a přehodnocení vah
• Dokumentace

Pojďme si procvičit!

Zodpovědná správa dat v AI