Orchestrace

Porozumění moderní datové architektuře

Miller Trujillo

Senior Software Engineer

Co je orchestrace?

Workflow pro zpracování 5 tabulek

  • Koordinace více úloh
  • Automatizovaná konfigurace a koordinace složitých workflow.

Ukázka Airflow DAG

  • Uvolňuje lidské zdroje
1 https://airflow.apache.org/docs/apache-airflow/stable/core-concepts/dags.html
Porozumění moderní datové architektuře

Orchestrace vs. plánování

Plánování

  • Spouštění úloh v daných intervalech/časech
  • Startér orchestrovaných workflow

Příklad plánování

Orchestrace

Automatizace a koordinace složitých workflow

Příklad orchestrace

Porozumění moderní datové architektuře

Apache Airflow

Logo Apache Airflow

  • Koordinace složitých workflow pomocí Pythonu
Porozumění moderní datové architektuře

Základní koncepty orchestrace

  • Úlohy:
    • Základní jednotka provádění
  • Závislosti:
    • Určují pořadí úloh
  • Directed Acyclic Graph (DAG):
    • Workflow úloh a závislostí

Ukázka Airflow DAG

Porozumění moderní datové architektuře

Základní koncepty orchestrace

  • Operátory:
    • Určují typ úlohy
    • BashOperator
    • PythonOperator
  • Sensory:
    • Čekají na splnění podmínek
  • Plánovač
    • Automatizuje spouštění úloh.
Porozumění moderní datové architektuře

Pojďme procvičovat!

Porozumění moderní datové architektuře

Preparing Video For Download...