Riepilogo

Creare data pipeline con Airflow

Volker Janz

Developer Advocate at Astronomer

Cosa hai costruito

Percorso del corso: 4 capitoli fino ai pipeline di produzione

  • Hai creato Dags con la TaskFlow API e passato dati con XCom
  • Hai costruito workflow dinamici con task mapping, asset e workflow HITL
  • Hai reso i Dag pronti per la produzione con retry, operatori differibili e test
  • Hai orchestrato carichi SQL con partizioni e quality gate
Creare data pipeline con Airflow

La tua cassetta degli attrezzi

Capitolo 1: Fondamenta

  • @dag, @task, TaskFlow API
  • XCom, .output, passaggio dati
  • Versioning dei Dag, strategie di scheduling

Capitolo 2: Authoring avanzato

  • .expand(), .partial(), dynamic task mapping
  • Asset, outlets, schedule=[Asset], data-aware scheduling
  • {{ ds }}, idempotenza, human-in-the-loop

Capitolo 3: Pronti per la produzione

  • retries, on_failure_callback, avvisi di deadline
  • deferrable=True, Triggerer
  • DagBag, dag.test(), @task_group

Capitolo 4: Carichi SQL

  • SQL con SQLExecuteQueryOperator
  • CronPartitionTimetable, PartitionedAssetTimetable
  • Qualità dei dati, CLI, messa in produzione di Airflow
Creare data pipeline con Airflow

Inizia a costruire oggi

Inizia a costruire oggi

$$

Creare data pipeline con Airflow

Buon lavoro!

Creare data pipeline con Airflow

Preparing Video For Download...