Harmonogramowanie danych

Wprowadzenie do inżynierii danych

Hadrien Lacroix

Content Developer at DataCamp

Harmonogramowanie

• Dotyczy dowolnego zadania z przetwarzania danych
• Harmonogramowanie to spoiwo systemu
• Łączy elementy i organizuje ich współpracę
• Uruchamia zadania w określonej kolejności i rozwiązuje zależności

Harmonogramowanie ręczne, czasowe i sensorowe

• Ręcznie

• Ręczna aktualizacja tabeli pracowników

Harmonogramowanie ręczne, czasowe i sensorowe

• Ręcznie
• Automatycznie o określonej godzinie
• Automatycznie po spełnieniu warunku
  • Harmonogramowanie sensorowe

• Ręczna aktualizacja tabeli pracowników
• Aktualizacja tabeli pracowników o 6:00

Harmonogramowanie ręczne, czasowe i sensorowe

• Ręcznie
• Automatycznie o określonej godzinie
• Automatycznie po spełnieniu warunku
  • Harmonogramowanie sensorowe

• Ręczna aktualizacja tabeli pracowników
• Aktualizacja tabeli pracowników o 6:00
• Aktualizacja tabel działów po dodaniu nowego pracownika

Partie i strumienie

• Partie
  • Grupowanie rekordów w interwałach
  • Często tańsze
• Strumienie
  • Natychmiastowe przesyłanie pojedynczych rekordów

• Utwory przesyłane przez artystów
• Tabela pracowników
• Tabela przychodów
• Nowi użytkownicy logujący się
• Inny przykład: słuchanie online i offline

Narzędzia do harmonogramowania

Podsumowanie

• Czym jest harmonogramowanie
• Sposoby jego konfiguracji
• Różnica między partiami a strumieniami
• Harmonogramowanie w Spotflixie
• Airflow, Luigi

Czas na ćwiczenia!

Wprowadzenie do inżynierii danych