Potoki danych

Zrozumieć data science

Sara Billen

Curriculum Manager

$$ Zbieranie i pozyskiwanie danych z jednego źródła

Zrozumieć data science

$$ Zbieranie i pozyskiwanie danych z trzech źródeł

$$

Jak skalować?

Więcej niż jedno źródło danych:

  • Rejestry publiczne
  • API
  • Bazy danych

Różne typy danych:

  • Dane niestrukturalne
  • Dane tabelaryczne
  • Dane strumieniowe w czasie rzeczywistym np. tweety
Zrozumieć data science

Czym jest potok danych?

  • Przenosi dane przez zdefiniowane etapy
  • Automatyczne zbieranie i przechowywanie
    • Harmonogram: co godzinę, dziennie, tygodniowo itp.
    • Wyzwalane przez zdarzenie
  • Monitorowane z alertami
  • Niezbędne w projektach big data
  • Inżynierowie danych dostosowują rozwiązania
  • Ekstrakcja Transformacja Ładowanie (ETL)

Potok danych

Zrozumieć data science

Studium przypadku: inteligentny dom

Dane Źródło Częstotliwość
Warunki pogodowe National Weather Service API Co 30 minut
Tweety w okolicy Twitter API Strumień na żywo
Temperatura wewnętrzna Inteligentny termostat Co 5 minut
Stan oświetlenia Inteligentne żarówki Co minutę
Stan zamków Inteligentne zamki Co 15 sekund
Zużycie energii Inteligentny licznik Co tydzień
Zrozumieć data science

Ekstrakcja

Faza ekstrakcji

Źródło Częstotliwość
National Weather API Co 30 minut
Twitter API Strumień na żywo
Inteligentny termostat Co 5 minut
Inteligentne żarówki Co minutę
Inteligentne zamki Co 15 sekund
Inteligentny licznik Co tydzień
Zrozumieć data science

Transformacja

Faza ładowania

Zrozumieć data science

Transformacja

Jak zachować porządek przy dużym napływie danych?

$$ Przykładowe transformacje:

  • Łączenie źródeł danych w jeden zbiór
  • Konwersja struktur danych do schematów bazy
  • Usuwanie nieistotnych danych

Przygotowanie i eksploracja danych nie odbywa się na tym etapie

Zrozumieć data science

Ładowanie

Faza ładowania

Zrozumieć data science

Automatyzacja

Automatyzacja

Zrozumieć data science

Czas na ćwiczenia!

Zrozumieć data science

Preparing Video For Download...