Een productie-pijplijn maken

Introductie tot Apache Airflow in Python

Mike Metzger

Data Engineer

Dags en taken uitvoeren

Een specifieke taak vanaf de commandoregel uitvoeren:

airflow tasks test <dag_id> <task_id> <date>

Een volledige Dag uitvoeren:

airflow dags trigger --logical-date <date> <dag_id>
Introductie tot Apache Airflow in Python

Herhaling: taken

  • @task - Markeert een Python-functie als Airflow-taak
  • @task.bash - Geeft de uitvoer van een bash-commando terug als taakresultaat
  • @task.branch - Branch-operator voor keuzes tijdens runtime binnen een Dag
  • FileSensor - vereist filepath en kan mode of poke_interval nodig hebben
Introductie tot Apache Airflow in Python

Herhaling: templates

  • Veel Airflow-objecten ondersteunen templates
  • Sommige velden kunnen sjablonen gebruiken, andere niet
  • Controleer dit via de ingebouwde documentatie:
  1. Open de python3-interpreter
  2. Importeer benodigde libraries (bijv. from airflow.sdk import dag, task)
  3. Voer bij de prompt help(<Airflow object>) uit, bijv. help(task)
  4. Zoek naar de regel met template_fields. Daar staan de argumenten die sjablonen ondersteunen.
Introductie tot Apache Airflow in Python

Voorbeeld: template-documentatie

Terminal met python3 help-uitvoer voor een Airflow-object

Terminaluitvoer met de regel template_fields gemarkeerd in Airflow help

Introductie tot Apache Airflow in Python

Werken met Airflow

Illustratie van workflows maken, plannen en monitoren

Apache Airflow-logo

Introductie tot Apache Airflow in Python

Laten we oefenen!

Introductie tot Apache Airflow in Python

Preparing Video For Download...