Plánování dat

Understanding Data Engineering

Hadrien Lacroix

Content Developer at DataCamp

Plánování

• Lze použít na jakýkoli úkol v rámci zpracování dat
• Plánování je pojivo systému
• Propojuje části a organizuje jejich spolupráci
• Spouští úkoly ve správném pořadí a řeší závislosti

Ruční, časové a senzorové plánování

• Ručně

• Ruční aktualizace tabulky zaměstnanců

Ruční, časové a senzorové plánování

• Ručně
• Automaticky v určený čas
• Automaticky při splnění podmínky
  • Senzorové plánování

• Ruční aktualizace tabulky zaměstnanců
• Aktualizace tabulky zaměstnanců v 6:00

Ruční, časové a senzorové plánování

• Ručně
• Automaticky v určený čas
• Automaticky při splnění podmínky
  • Senzorové plánování

• Ruční aktualizace tabulky zaměstnanců
• Aktualizace tabulky zaměstnanců v 6:00
• Aktualizace tabulek oddělení po přidání nového zaměstnance

Dávky a streamy

• Dávky
  • Seskupování záznamů v intervalech
  • Často levnější
• Streamy
  • Okamžité odesílání jednotlivých záznamů

• Nahrané skladby od umělců
• Tabulka zaměstnanců
• Tabulka příjmů
• Noví přihlašující se uživatelé
• Další příklad: online vs. offline poslech

Nástroje pro plánování

Shrnutí

• Co je plánování
• Různé způsoby nastavení
• Rozdíl mezi dávkami a streamy
• Implementace plánování ve Spotflixu
• Airflow, Luigi

Pojďme si procvičit!

Understanding Data Engineering