Orchestrierung

Moderne Datenarchitekturen verstehen

Miller Trujillo

Senior Software Engineer

Was ist Orchestrierung?

High-Level-Workflow zur Verarbeitung von 5 Tabellen

  • Mehrere Jobs koordinieren
  • Automatisierte Einrichtung und Koordination komplexer Workflows

Beispiel-DAG in Airflow

  • Entlastet Menschen
1 https://airflow.apache.org/docs/apache-airflow/stable/core-concepts/dags.html
Moderne Datenarchitekturen verstehen

Orchestrierung vs. Scheduling

Scheduling

  • Tasks zu festgelegten Intervallen/Zeitpunkten ausführen
  • Startpunkt orchestrierter Workflows

Beispiel für Scheduling

Orchestrierung

Komplexe Workflows automatisieren und koordinieren

Beispiel für Orchestrierung

Moderne Datenarchitekturen verstehen

Apache Airflow

Apache Airflow Logo

  • Komplexe Workflows mit Python koordinieren
Moderne Datenarchitekturen verstehen

Kernkonzepte der Orchestrierung

  • Tasks:
    • Grundeinheit der Ausführung
  • Abhängigkeiten:
    • Bestimmen die Reihenfolge der Tasks
  • Directed Acyclic Graph (DAG):
    • Workflow aus Tasks und Abhängigkeiten

Beispiel-DAG in Airflow

Moderne Datenarchitekturen verstehen

Kernkonzepte der Orchestrierung

  • Operatoren:
    • Legen die Art des Tasks fest
    • BashOperator
    • PythonOperator
  • Sensoren:
    • Warten auf bestimmte Bedingungen
  • Scheduler
    • Automatisiert das Auslösen von Tasks.
Moderne Datenarchitekturen verstehen

Lass uns üben!

Moderne Datenarchitekturen verstehen

Preparing Video For Download...