Ograniczenia źródeł danych

Odpowiedzialne zarządzanie danymi w AI

Maria Prokofieva

Lead ML Engineer

Źródła danych i typowe ograniczenia

Zgodność prawna
Uprzedzenia
Metodologia
Rola wiedzy dziedzinowej

Ograniczenia prawne i dostępowe

Ograniczone wykorzystanie danych dla określonych typów projektów
Dodatkowe wymogi zgodności
Prohibicyjne koszty

Zgodność danych

¹ Image by Streamline HQ

Uprzedzenia w źródłach danych

Systematyczne błędy
Zniekształcone postrzeganie
Nierównomierne wyniki
Dyskryminacja określonych grup

Rodzaje uprzedzeń

Uprzedzenie historyczne:
- Nieistotne wzorce i wyniki
Błąd selekcji:
- Wybór uwzględnianych punktów danych
Błąd próbkowania:
- Metoda pobierania próby

Skala uprzedzeń

¹ Image by Streamline HQ

Ograniczenia wynikające z uprzedzeń i pochodzenia danych

Ograniczony zasięg danych
Uwarunkowania kulturowe i geograficzne
Ograniczony zakres i reprezentatywność

Grupa ludzi

Ograniczenia wynikające z uprzedzeń i metodologii

Wybór metod zbierania danych
Podejścia do próbkowania

Wielokolorowe dłonie z otwartymi palmami, uniesione w górę

Wiedza dziedzinowa

Ograniczenia lub ukryte uprzedzenia
Wczesna współpraca z ekspertami dziedzinowymi
Eliminacja ograniczeń przed modelowaniem

Projekt dot. ruchu miejskiego

Źródła danych:

Dane o natężeniu ruchu
Protokoły posiedzeń rady miasta
Dane z śledzenia GPS

Projekt dot. ruchu miejskiego

¹ Images by Streamline HQ

Projekt dot. ruchu miejskiego

Historyczne dane o natężeniu ruchu:

Historyczne uprzedzenia
Dawne układy urbanistyczne

Dane z protokołów posiedzeń:

Błąd selekcji
Nieproporcjonalna reprezentacja niektórych grup społecznych

dane o ruchu

¹ Images by Streamline HQ

Projekt dot. ruchu miejskiego

Dane z śledzenia GPS:

Błędy próbkowania i selekcji
Mogą nie reprezentować wszystkich dojeżdżających

gps

¹ Image by Streamline HQ

Czas na ćwiczenia!

Odpowiedzialne zarządzanie danymi w AI

Preparing Video For Download...