Integracja danych

Odpowiedzialne zarządzanie danymi w AI

Maria Prokofieva

Lead ML engineer

Co omówimy

• Dlaczego integracja jest konieczna
• Jej korzyści i trudności
• Etapy integracji danych

Dlaczego wiele źródeł?

• Kompleksowy, szczegółowy obraz
• Siatka bezpieczeństwa
• Różnorodność danych i sprawiedliwość
• Wyjaśnialność, przejrzystość i odpowiedzialność

Uwaga na problemy

• Obniżenie jakości danych
• Wprowadzanie niespójności
• Wzmacnianie błędów systematycznych
• Zmniejszenie reprezentacji
• Złożoność modelu
• Ograniczona przejrzystość i wyjaśnialność

¹ Obraz: Streamline HQ

Krok 1. Wybór źródeł danych

• Stosowanie kroków oceny
• Ocena źródeł danych
• Bardziej zrównoważony i kompleksowy zbiór danych

Krok 2. Ujednolicanie typów danych

• Identyfikacja wspólnych zmiennych
• Standaryzacja nazw i formatów
• Normalizacja danych numerycznych
• Konsolidacja danych kategorycznych
• Wyrównanie granularności danych

Krok 3. Redukcja błędów i poprawa reprezentacji

• Ważenie
  • Wiedza dziedzinowa
  • Przypisywanie wag grupom niedoreprezentowanym lub nadreprezentowanym
• Balansowanie
  • Równa reprezentacja
  • Nadpróbkowanie lub podpróbkowanie
• Algorytmiczne weryfikacje
• Analiza luk

Krok 4. Dokumentacja

• Szczegółowe rejestry:
  • Etapy integracji danych
  • Podjęte decyzje
• Szczegółowe metadane:
  • Źródła danych
  • Metodologia zbierania danych
  • Zastosowane transformacje

Projekt miejskiego ruchu drogowego

• Wybór źródeł danych
• Identyfikacja wspólnych cech
• Opracowanie ujednoliconego modelu danych

¹ Obrazy: Streamline HQ

Projekt miejskiego ruchu drogowego

• Techniki statystyczne do oceny błędów i reprezentacji
• Korekty wag
• Analiza luk i reważenie
• Dokumentacja

Czas na ćwiczenia!

Odpowiedzialne zarządzanie danymi w AI