Potok danych

Wprowadzenie do inżynierii danych

Hadrien Lacroix

Content Developer at DataCamp

Jeśli dane to nowa ropa...

dane to nowa ropa - okładka The Economist

¹ The Economist, 2017-05-06, by David Parkins

szyb naftowy

rurociąg od szybu naftowego

destylacja

pozostałość

ciężki olej

diesel

nafta lotnicza

nafta

benzyna

nafta lotnicza dostarczana bezpośrednio na lotnisko

benzyna dostarczana do magazynu paliw

benzyna dostarczana z magazynu do stacji benzynowych

nafta ulega transformacjom chemicznym

plastik wysyłany do fabryki

Powrót do inżynierii danych

Pozyskiwanie
Przetwarzanie
Przechowywanie
Potrzebne potoki
Automatyzacja przepływu między etapami
Dostarczanie aktualnych, dokładnych i trafnych danych

inżynier danych

urządzenie mobilne

komputer

strona internetowa

rury z aplikacji mobilnej, desktopowej i strony internetowej

szafa serwerowa

artyści

albumy

utwory

playlisty

klienci

pracownicy

Baza danych artystów

pracownicy sprzedaży

pracownicy działu technicznego

pracownicy wsparcia

pracownicy sprzedaży w USA

pracownicy sprzedaży w Belgii

pracownicy sprzedaży we Francji

sprawdzanie i czyszczenie utworów

zapis oczyszczonych utworów do bazy danych

Oprah rozdaje potoki

Potoki danych zapewniają efektywny przepływ danych

Automatyzacja

Ekstrakcja
Transformacja
Łączenie
Walidacja
Ładowanie

Redukcja

Interwencji ludzkich
Błędów
Czasu przepływu danych

ETL i potoki danych

ETL

Popularny schemat projektowania potoków danych
1) Ekstrakcja danych
2) Transformacja wyekstrahowanych danych
3) Ładowanie przekształconych danych do bazy

Potoki danych

Przenoszą dane między systemami
Mogą stosować ETL
Dane nie zawsze są transformowane
Dane mogą być ładowane bezpośrednio do aplikacji

Podsumowanie

Czym jest potok danych
Co robi
Dlaczego jest ważny
Jak potoki danych są wdrożone w Spotflix
Czym jest ETL i jakie ma niuanse

Czas na ćwiczenia!

Wprowadzenie do inżynierii danych