Vytvoření produkčního pipeline

Úvod do Apache Airflow v Pythonu

Mike Metzger

Data Engineer

Spouštění DAGů a úkolů

Spuštění konkrétního úkolu z příkazové řádky:

airflow tasks test <dag_id> <task_id> <date>

Spuštění celého DAGu:

airflow dags trigger --logical-date <date> <dag_id>
Úvod do Apache Airflow v Pythonu

Přehled úkolů

  • @task – označí funkci Pythonu jako úkol Airflow
  • @task.bash – vrátí výsledek bash příkazu jako výstup úkolu
  • @task.branch – operátor větvení pro volbu za běhu v rámci DAGu
  • FileSensor – vyžaduje argument filepath, případně atributy mode nebo poke_interval
Úvod do Apache Airflow v Pythonu

Šablony – připomenutí

  • Mnoho objektů v Airflow podporuje šablony
  • Některá pole šablonované řetězce umožňují, jiná ne
  • Jak to ověřit pomocí vestavěné dokumentace:
  1. Otevřete interpret python3
  2. Importujte potřebné knihovny (např. from airflow.sdk import dag, task)
  3. Spusťte help(<objekt Airflow>), např. help(task)
  4. Hledejte řádek odkazující na template_fields – zobrazí argumenty podporující šablony.
Úvod do Apache Airflow v Pythonu

Příklad dokumentace šablony

Terminál zobrazující výstup python3 help pro objekt Airflow

Výstup terminálu se zvýrazněným řádkem template_fields v nápovědě Airflow

Úvod do Apache Airflow v Pythonu

Práce s Airflow

Ilustrace vytváření, plánování a monitorování workflowů

Logo Apache Airflow

Úvod do Apache Airflow v Pythonu

Pojďme cvičit!

Úvod do Apache Airflow v Pythonu

Preparing Video For Download...