Orchestratie

Moderne data-architectuur begrijpen

Miller Trujillo

Senior Software Engineer

Wat is orchestratie?

Workflow op hoog niveau om 5 tabellen te verwerken

  • Coördineer meerdere jobs
  • Geautomatiseerde configuratie en coördinatie van complexe workflows.

Voorbeeld-DAG in Airflow

  • Maakt menskracht vrij
1 https://airflow.apache.org/docs/apache-airflow/stable/core-concepts/dags.html
Moderne data-architectuur begrijpen

Orchestratie vs. scheduling

Scheduling

  • Voer taken uit op opgegeven intervallen/tijden
  • Starter van georchestreerde workflows

Voorbeeld van scheduling

Orchestratie

Automatiseer en coördineer complexe workflows

Voorbeeld van orchestratie

Moderne data-architectuur begrijpen

Apache Airflow

Logo van Apache Airflow

  • Coördineer complexe workflows met Python
Moderne data-architectuur begrijpen

Kernconcepten van orchestratie

  • Taken:
    • Basisunit van uitvoering
  • Afhankelijkheden:
    • Bepalen taakvolgorde
  • Directed Acyclic Graph (DAG):
    • Workflow van taken en afhankelijkheden

Voorbeeld van Airflow-DAG

Moderne data-architectuur begrijpen

Kernconcepten van orchestratie

  • Operators:
    • Bepalen het type taak
    • BashOperator
    • PythonOperator
  • Sensors:
    • Wachten op specifieke voorwaarden
  • Scheduler
    • Automatiseert het starten van taken.
Moderne data-architectuur begrijpen

Laten we oefenen!

Moderne data-architectuur begrijpen

Preparing Video For Download...