Crearea unui pipeline de producție

Introducere în Apache Airflow în Python

Mike Metzger

Data Engineer

Rularea DAG-urilor și a sarcinilor

Pentru a rula o sarcină specifică din linia de comandă:

airflow tasks test <dag_id> <task_id> <date>

Pentru a rula un DAG complet:

airflow dags trigger --logical-date <date> <dag_id>
Introducere în Apache Airflow în Python

Recapitulare sarcini

  • @task - Specifică o funcție Python ca sarcină Airflow
  • @task.bash - Returnează rezultatul unei comenzi bash ca sarcină Airflow
  • @task.branch - Operator de ramificare pentru alegeri dinamice în cadrul unui DAG
  • FileSensor - necesită argumentul filepath și poate necesita atributele mode sau poke_interval
Introducere în Apache Airflow în Python

Memento șabloane

  • Multe obiecte din Airflow pot utiliza șabloane
  • Anumite câmpuri acceptă șiruri cu șabloane, altele nu
  • O modalitate de verificare este documentația integrată:
  1. Deschideți interpretorul python3
  2. Importați bibliotecile necesare (ex., from airflow.sdk import dag, task)
  3. La prompt, rulați help(<obiect Airflow>), ex., help(task)
  4. Căutați o linie care face referire la template_fields. Aceasta specifică argumentele ce pot utiliza șabloane.
Introducere în Apache Airflow în Python

Exemplu de documentație pentru șabloane

Terminal afișând ieșirea python3 help pentru un obiect Airflow

Ieșire terminal evidențiind linia template_fields în help Airflow

Introducere în Apache Airflow în Python

Lucrul cu Airflow

Ilustrație a creării, planificării și monitorizării fluxurilor de lucru

Logo Apache Airflow

Introducere în Apache Airflow în Python

Să exersăm!

Introducere în Apache Airflow în Python

Preparing Video For Download...