Orkiestracja

Nowoczesna architektura danych

Miller Trujillo

Senior Software Engineer

Czym jest orkiestracja?

Przepływ wysokiego poziomu dla 5 tabel

  • Koordynacja wielu zadań
  • Zautomatyzowana konfiguracja i koordynacja złożonych przepływów pracy.

Przykładowy DAG w Airflow

  • Uwalnia zasoby ludzkie
1 https://airflow.apache.org/docs/apache-airflow/stable/core-concepts/dags.html
Nowoczesna architektura danych

Orkiestracja a harmonogramowanie

Harmonogramowanie

  • Wykonuje zadania w określonych interwałach/godzinach
  • Punkt startowy zorkiestrowanych przepływów

Przykład harmonogramowania

Orkiestracja

Automatyzuje i koordynuje złożone przepływy pracy

Przykład orkiestracji

Nowoczesna architektura danych

Apache Airflow

Logo Apache Airflow

  • Koordynacja złożonych przepływów pracy w języku Python
Nowoczesna architektura danych

Podstawowe pojęcia orkiestracji

  • Zadania:
    • Podstawowa jednostka wykonania
  • Zależności:
    • Określają kolejność zadań
  • Skierowany graf acykliczny (DAG):
    • Przepływ zadań i zależności

Przykładowy DAG w Airflow

Nowoczesna architektura danych

Podstawowe pojęcia orkiestracji

  • Operatory:
    • Określają rodzaj zadania
    • BashOperator
    • PythonOperator
  • Sensory:
    • Oczekują na spełnienie warunków
  • Harmonogram
    • Automatyzuje wyzwalanie zadań.
Nowoczesna architektura danych

Czas na ćwiczenia!

Nowoczesna architektura danych

Preparing Video For Download...