Orkestrering

Förstå modern dataarkitektur

Miller Trujillo

Senior Software Engineer

Vad är orkestrering?

Övergripande arbetsflöde för att bearbeta 5 tabeller

  • Koordinera flera jobb
  • Automatiserad konfiguration och samordning av komplexa arbetsflöden.

Exempel på DAG i Airflow

  • Frigör mänskliga resurser
1 https://airflow.apache.org/docs/apache-airflow/stable/core-concepts/dags.html
Förstå modern dataarkitektur

Orkestrering vs schemaläggning

Schemaläggning

  • Kör uppgifter vid angivna intervall/tider
  • Startar orkestrerade arbetsflöden

Exempel på schemaläggning

Orkestrering

Automatisera och samordna komplexa arbetsflöden

Exempel på orkestrering

Förstå modern dataarkitektur

Apache Airflow

Apache Airflow-logotyp

  • Samordna komplexa arbetsflöden med Python
Förstå modern dataarkitektur

Grundläggande begrepp inom orkestrering

  • Uppgifter:
    • Grundläggande enhet för körning
  • Beroenden:
    • Bestämmer uppgifternas ordning
  • Directed Acyclic Graph (DAG):
    • Arbetsflöde av uppgifter och beroenden

Exempeldag i Airflow

Förstå modern dataarkitektur

Grundläggande begrepp inom orkestrering

  • Operatorer:
    • Bestämmer uppgiftens karaktär
    • BashOperator
    • PythonOperator
  • Sensorer:
    • Väntar på specifika villkor
  • Schemaläggare
    • Automatiserar triggning av uppgifter.
Förstå modern dataarkitektur

Nu kör vi en övning!

Förstå modern dataarkitektur

Preparing Video For Download...