Creare una pipeline di produzione

Introduzione ad Apache Airflow in Python

Mike Metzger

Data Engineer

Eseguire Dags e task

Per eseguire un task specifico da riga di comando:

airflow tasks test <dag_id> <task_id> <date>

Per eseguire un Dag completo:

airflow dags trigger --logical-date <date> <dag_id>
Introduzione ad Apache Airflow in Python

Promemoria sui task

  • @task - Imposta una funzione Python come task Airflow
  • @task.bash - Restituisce l’output di un comando bash come risultato del task
  • @task.branch - Operatore di branching per scegliere a runtime nel Dag
  • FileSensor - richiede l’argomento filepath e può usare gli attributi mode o poke_interval
Introduzione ad Apache Airflow in Python

Promemoria sui template

  • Molti oggetti in Airflow supportano i template
  • Alcuni campi accettano stringhe template, altri no
  • Per verificarlo, usa la documentazione integrata:
  1. Apri l’interprete python3
  2. Importa le librerie necessarie (es. from airflow.sdk import dag, task)
  3. Al prompt, esegui help(<oggetto Airflow>), es. help(task)
  4. Cerca una riga con template_fields. Indica gli argomenti che possono usare template.
Introduzione ad Apache Airflow in Python

Esempio di documentazione sui template

Terminale che mostra l'output di help di python3 per un oggetto Airflow

Output del terminale che evidenzia la riga template_fields in Airflow help

Introduzione ad Apache Airflow in Python

Lavorare con Airflow

Illustrazione di creazione, pianificazione e monitoraggio dei workflow

Logo Apache Airflow

Introduzione ad Apache Airflow in Python

Passons à la pratique !

Introduzione ad Apache Airflow in Python

Preparing Video For Download...