Przetwarzanie danych

Wprowadzenie do inżynierii danych

Hadrien Lacroix

Content Developer at DataCamp

potok danych

przenoszenie danych do data lake

przenoszenie danych do data lake

sprawdzanie uszkodzonych danych

Ogólna definicja

Przetwarzanie danych: przekształcanie danych surowych w użyteczne informacje

Wartość przetwarzania danych

Koncepcyjnie

Usuwanie niepotrzebnych danych
Optymalizacja pamięci, procesowania i sieci
Konwersja danych między typami

W Spotflixie

Dane testowe nie są potrzebne długoterminowo
Zbyt duże pliki do przechowywania i strumieniowania

potok danych

potok danych

potok danych

Wartość przetwarzania danych

Koncepcyjnie

Usuwanie niepotrzebnych danych
Oszczędność pamięci
Konwersja danych między typami
Organizowanie danych
Dopasowanie do schematu/struktury
Zwiększenie produktywności

W Spotflixie

Format bezstratny nie jest potrzebny
Zbyt duże pliki do przechowywania
Konwersja utworów z .flac na .ogg
Reorganizacja danych z data lake do hurtowni danych
Przykład tabeli pracowników
Wsparcie dla analityków danych

Jak inżynierowie danych przetwarzają dane

Manipulacja, czyszczenie i porządkowanie danych
- które można zautomatyzować
- które zawsze będą potrzebne
Przechowywanie danych w dobrze ustrukturyzowanej bazie
Tworzenie widoków na tabelach bazy danych
Optymalizacja wydajności bazy danych

Odrzucanie uszkodzonych plików audio
Obsługa brakujących metadanych
Osobne tabele artystów i albumów...
...ale widok łączący obie
Indeksowanie

¹ Różnica między przetwarzaniem wsadowym a strumieniowym zostanie wyjaśniona w następnej lekcji!

Logo Apache Spark

Podsumowanie

Czym jest przetwarzanie danych
Dlaczego jest potrzebne
Na czym polega
Jak przetwarzamy dane w Spotflixie

Czas na ćwiczenia!

Wprowadzenie do inżynierii danych

Preparing Video For Download...