Źródła danych

Odpowiedzialne zarządzanie danymi w AI

Maria Prokofieva

Lead ML engineer

Co nas czeka..

  • Typy źródeł danych
  • Ograniczenia i dobór
  • Integracja wielu źródeł danych

Osoby pobierające dokumenty z półek, używające lupy i przeszukujące pliki w elektronicznej bazie danych

Odpowiedzialne zarządzanie danymi w AI

Dlaczego źródło danych jest ważne

  • Integralność
  • Różnorodność
  • Rzetelna reprezentacja

gotowanie danych ze źródła

1 Obraz autorstwa Streamline HQ
Odpowiedzialne zarządzanie danymi w AI

Typy według pochodzenia

  • Pierwotne

    • Dane zebrane w ramach projektu
    • Zgodność i zgoda

  • Wtórne

    • Dane pozyskane z istniejących zasobów
    • Umowy licencyjne

Abstrakcyjna koncepcja umowy licencyjnej

Odpowiedzialne zarządzanie danymi w AI

Typy według charakteru

  • Ilościowe

    • Dane numeryczne

  • Jakościowe

    • Nienumeryczne

  • Mieszane

    • Połączenie numerycznych i nienumerycznych

liczby i tekst

1 Obraz autorstwa Streamline HQ
Odpowiedzialne zarządzanie danymi w AI

Typy według temporalności

  • Statyczne
    • Nie zmieniają się w czasie
    • Dane spisowe
    • Adresy firm
  • Dynamiczne
    • Aktualizowane w czasie rzeczywistym
    • Strumienie mediów społecznościowych
    • API
    • Dane rynków finansowych
    • Dane z czujników

przepływy dynamiczne

1 Obraz autorstwa Streamline HQ
Odpowiedzialne zarządzanie danymi w AI

Różnorodność i rzetelność źródeł danych

  • Bezpośrednie uprzedzenia zbieraczy danych
  • Mierzalne kontrole stronniczości
  • Nieaktualne, niereprezentatywne dla bieżącej rzeczywistości
  • Uprzedzenia odziedziczone z pierwotnego kontekstu
  • Złożona analiza
  • Ciągła ewolucja, możliwe uprzedzenia w czasie rzeczywistym
Odpowiedzialne zarządzanie danymi w AI

Projekt dot. ruchu miejskiego

Źródła danych:

  • Historyczne dane o ruchu drogowym
  • Protokoły z posiedzeń rady miejskiej
  • Dane ze śledzenia GPS

Projekt dot. ruchu miejskiego

1 Obrazy autorstwa Streamline HQ
Odpowiedzialne zarządzanie danymi w AI

Historyczne dane o ruchu drogowym

  • Miejski wydział transportu
  • Ostatnie 5 lat
  • Obejmuje liczby pojazdów oraz porę dnia/tygodnia

To podstawowe, statyczne, ilościowe źródło

dane o ruchu drogowym

1 Obraz autorstwa Streamline HQ
Odpowiedzialne zarządzanie danymi w AI

Protokoły z posiedzeń rady

  • Publiczne dokumenty dostępne na stronie rady
  • Streszczenia dot. planowania przestrzennego i zarządzania ruchem

To jakościowe źródło wtórne

protokoły

1 Obraz autorstwa Streamline HQ
Odpowiedzialne zarządzanie danymi w AI

Dane GPS

  • Podstawowe źródło dynamiczne
  • Bieżące informacje o warunkach ruchu, prędkościach i opóźnieniach

GPS

1 Obraz autorstwa Streamline HQ
Odpowiedzialne zarządzanie danymi w AI

Czas na ćwiczenia!

Odpowiedzialne zarządzanie danymi w AI

Preparing Video For Download...