Airflow-executors

Introductie tot Apache Airflow in Python

Mike Metzger

Data Engineer

Wat is een executor?

• Executors voeren taken uit
• Verschillende executors voeren taken anders uit
• Voorbeelden:
  • SequentialExecutor
  • LocalExecutor
  • KubernetesExecutor

SequentialExecutor

• De standaard Airflow-executor
• Draait één taak tegelijk
• Handig voor debuggen
• Werkt, maar niet echt aan te raden voor productie

LocalExecutor

• Draait op één systeem
• Behandelt taken als processen
• Parallelisme door de gebruiker bepaald
• Kan alle resources van de host benutten

KubernetesExecutor

• Gebruikt Kubernetes als taakmanager
• Meerdere workersystemen mogelijk
• Aanzienlijk lastiger te installeren en configureren
• Zeer krachtig voor organisaties met veel workflows

Bepaal je executor

• Via het bestand airflow.cfg
• Zoek de regel executor=

Bepaal je executor #2

• Via de eerste regels van airflow info
• executor | SequentialExecutor

Laten we oefenen!

Introductie tot Apache Airflow in Python