Wybór źródła danych

Odpowiedzialne zarządzanie danymi w AI

Maria Prokofieva

Lead ML engineer

Dlaczego selekcja?

  • Zapewnienie jakości danych
  • Zgodność prawna
  • Bezstronność

 

Zdezorientowana kobieta wybierająca między dwoma przyciskami i naciskająca niebieski

Odpowiedzialne zarządzanie danymi w AI

Krok 1. Trafność dla projektu

  • Trafność względem celów projektu
  • Sprawdzenie zgodności z
    • Obszarem tematycznym
    • Zakresem
    • Oczekiwanymi wynikami

Ikona celu

Odpowiedzialne zarządzanie danymi w AI

Krok 2. Integralność źródła danych

  • Ocena integralności i wiarygodności
  • Recenzje i rekomendacje
  • Przejrzystość zbierania danych
  • Zgodność i licencjonowanie
  • Wysoka jakość: regularne aktualizacje

Ikona uścisku dłoni i tarczy

Odpowiedzialne zarządzanie danymi w AI

Krok 3. Zgodność prawna

  • Legalność danych
  • Zgodność prawna projektu
  • Doradztwo prawne:
    • Obowiązujące przepisy i ograniczenia
    • Anonimizacja danych
    • Wymogi bezpieczeństwa danych
  • Zatwierdzone przez zespół prawny

przepisy prawne

Odpowiedzialne zarządzanie danymi w AI

Krok 4. Jakość techniczna

  • Integralność strukturalna i użyteczność
  • Kompletność
  • Spójność
  • Dokładność
  • Aktualność

Certyfikat jakości

Odpowiedzialne zarządzanie danymi w AI

Krok 5. Stronniczość i reprezentatywność

  • Analiza reprezentacji demograficznej
  • Cechy chronione
  • Analiza rozkładu grup
  • Metryki sprawiedliwości
  • Augmentacja danych
Odpowiedzialne zarządzanie danymi w AI

Krok 6. Selekcja

  • Włącz, jeśli:
    • Konsekwentnie zgodne
    • Można skorygować przez transformację, augmentację lub algorytmy
  • Wyklucz, jeśli:
    • Braki w kluczowych obszarach
  • Konsultacja z ekspertami dziedzinowymi

Dokonywanie wyboru

Odpowiedzialne zarządzanie danymi w AI

Projekt natężenia ruchu miejskiego

Źródła danych:

  1. Dane o natężeniu ruchu
  2. Protokoły posiedzeń rady
  3. Dane śledzenia GPS
  4. Wzmianki w mediach społecznościowych o warunkach drogowych
  5. Dane z badań ankietowych dojeżdżających

Projekt natężenia ruchu miejskiego

1 Images by Streamline HQ
Odpowiedzialne zarządzanie danymi w AI

Projekt natężenia ruchu miejskiego

Wyklucz:

  • Dane z mediów społecznościowych
  • Dane z badań ankietowych dojeżdżających

Zmiany:

  • Protokoły posiedzeń rady
  • Dane o natężeniu ruchu
    • Dodatkowe dane z czujników
  • Dane GPS
    • Dodatkowe dane z kamer
Odpowiedzialne zarządzanie danymi w AI

Czas na ćwiczenia!

Odpowiedzialne zarządzanie danymi w AI

Preparing Video For Download...