Eine Produktions-Pipeline erstellen

Einführung in Apache Airflow mit Python

Mike Metzger

Data Engineer

Dags und Tasks ausführen

So führst du eine bestimmte Aufgabe über die Kommandozeile aus:

airflow tasks test <dag_id> <task_id> <date>

So startest du einen ganzen Dag:

airflow dags trigger --logical-date <date> <dag_id>
Einführung in Apache Airflow mit Python

Tasks – Kurzüberblick

  • @task – Markiert eine Python-Funktion als Airflow-Task
  • @task.bash – Gibt den Inhalt eines Bash-Befehls als Task-Ergebnis zurück
  • @task.branch – Verzweigungs-Operator für Laufzeitentscheidungen im Dag
  • FileSensor – benötigt das Argument filepath und ggf. mode oder poke_interval
Einführung in Apache Airflow mit Python

Template-Hinweise

  • Viele Objekte in Airflow unterstützen Templates
  • Manche Felder sind templated, andere nicht
  • Prüfe dies über die eingebaute Doku:
  1. Python3-Interpreter öffnen
  2. Benötigte Bibliotheken importieren (z. B. from airflow.sdk import dag, task)
  3. Am Prompt help(<Airflow object>) ausführen, z. B. help(task)
  4. Nach der Zeile mit template_fields suchen. Sie listet Argumente auf, die Templates unterstützen.
Einführung in Apache Airflow mit Python

Beispiel: Template-Dokumentation

Terminal, das python3-Hilfeausgabe für ein Airflow-Objekt zeigt

Terminalausgabe, die die Zeile template_fields in der Airflow-Hilfe hervorhebt

Einführung in Apache Airflow mit Python

Mit Airflow arbeiten

Illustration zum Erstellen, Planen und Überwachen von Workflows

Apache-Airflow-Logo

Einführung in Apache Airflow mit Python

Lass uns üben!

Einführung in Apache Airflow mit Python

Preparing Video For Download...