Zpracování dat

Understanding Data Engineering

Hadrien Lacroix

Content Developer at DataCamp

datový pipeline

přesun dat do datového jezera

přesun dat do datového jezera

kontrola poškozených dat

Obecná definice

Zpracování dat: převod surových dat na smysluplné informace

Přínos zpracování dat

Konceptuálně

Odstranění nežádoucích dat
Optimalizace paměti, procesů a sítě
Převod dat z jednoho typu na jiný

Ve Spotflixu

Testovací data nejsou dlouhodobě potřeba
Ukládání a streamování tak velkých souborů je nákladné

datový pipeline

datový pipeline

datový pipeline

Přínos zpracování dat

Konceptuálně

Odstranění nežádoucích dat
Úspora paměti
Převod dat z jednoho typu na jiný
Organizace dat
Přizpůsobení schématu/struktuře
Zvýšení produktivity

Ve Spotflixu

Bezeztrátový formát není potřeba
Ukládání tak velkých souborů je nákladné
Převod skladeb z .flac na .ogg
Reorganizace dat z datového jezera do datových skladů
Příklad tabulky zaměstnanců
Podpora datových vědců

Jak datoví inženýři zpracovávají data

Manipulace s daty, čištění a úpravy
- které lze automatizovat
- které je vždy nutné provádět
Ukládání dat do přehledně strukturované databáze
Vytváření pohledů nad tabulkami databáze
Optimalizace výkonu databáze

Zamítání poškozených souborů skladeb
Rozhodování o nakládání s chybějícími metadaty
Oddělené tabulky umělců a alb...
...ale pohled je kombinuje
Indexování

¹ Rozdíl mezi dávkovým a streamovým zpracováním bude vysvětlen v další lekci!

Logo Apache Spark

Shrnutí

Co je zpracování dat
Proč je nezbytné
Z čeho se skládá
Jak zpracováváme data ve Spotflixu

Pojďme si procvičit!

Understanding Data Engineering

Preparing Video For Download...