Datový pipeline

Understanding Data Engineering

Hadrien Lacroix

Content Developer at DataCamp

Pokud jsou data nová ropa...

¹ The Economist, 2017-05-06, by David Parkins

Zpět k datovému inženýrství

• Příjem dat
• Zpracování
• Uložení
• Potřeba pipeline
• Automatizace toku mezi stanicemi
• Zajištění aktuálních, přesných a relevantních dat

$$

Datové pipeline zajišťují efektivní tok dat

Automatizace

• Extrakce
• Transformace
• Kombinování
• Validace
• Načítání

Snížení

• Lidských zásahů
• Chyb
• Doby toku dat

ETL a datové pipeline

ETL

• Oblíbený rámec pro návrh datových pipeline
• 1) Extrakce dat
• 2) Transformace extrahovaných dat
• 3) Načtení transformovaných dat do jiné databáze

Datové pipeline

• Přesun dat z jednoho systému do druhého
• Mohou využívat ETL
• Data nemusí být transformována
• Data mohou být načtena přímo do aplikací

Shrnutí

• Co je datový pipeline
• Co dělá
• Proč je důležitý
• Jak jsou datové pipeline implementovány ve Spotflixu
• Co je ETL a jeho nuance

Pojďme si procvičit!

Understanding Data Engineering