Eine Produktions-Pipeline erstellen

Einführung in Apache Airflow mit Python

Mike Metzger

Data Engineer

DAGs & Tasks ausführen

So führst du einen bestimmten Task über die Kommandozeile aus:

airflow tasks test <dag_id> <task_id> <date>

So startest du einen kompletten DAG:

airflow dags trigger -e <date> <dag_id>
Einführung in Apache Airflow mit Python

Operatoren – Kurzüberblick

  • BashOperator – erwartet bash_command
  • PythonOperator – erwartet python_callable
  • BranchPythonOperator – benötigt python_callable und provide_context=True. Die Callable muss **kwargs akzeptieren.
  • FileSensor – benötigt das Argument filepath und ggf. die Attribute mode oder poke_interval
Einführung in Apache Airflow mit Python

Template – Hinweise

  • Viele Objekte in Airflow können Templates nutzen
  • Bestimmte Felder erlauben Template-Strings, andere nicht
  • Prüfe das in der eingebauten Doku:
  1. Python3-Interpreter öffnen
  2. Benötigte Bibliotheken importieren (z. B. from airflow.operators.bash import BashOperator)
  3. In der Shell help(<Airflow-Objekt>) ausführen, z. B. help(BashOperator)
  4. Nach der Zeile mit template_fields suchen. Dort stehen die Argumente, die Templates unterstützen.
Einführung in Apache Airflow mit Python

Beispiel: Template-Dokumentation

Airflow python3 help

Airflow template help

Einführung in Apache Airflow mit Python

Lass uns üben!

Einführung in Apache Airflow mit Python

Preparing Video For Download...