Sammanfattning

Bygg datapipelines med Airflow

Volker Janz

Developer Advocate at Astronomer

Vad du har byggt

Kursresa: 4 kapitel som bygger upp till produktionspipelines

  • Skapade DAG:ar med TaskFlow API och skickade data med XCom
  • Byggde dynamiska arbetsflöden med task mapping, assets och HITL-arbetsflöden
  • Gjorde DAG:ar produktionsklara med retries, deferrable operators och tester
  • Orkestrerade SQL-arbetsbelastningar med partitioner och kvalitetsportar
Bygg datapipelines med Airflow

Din verktygslåda

Kapitel 1: Grunder

  • @dag, @task, TaskFlow API
  • XCom, .output, skicka data
  • DAG-versionshantering, schemaläggningsstrategier

Kapitel 2: Avancerad DAG-skrivning

  • .expand(), .partial(), dynamisk task mapping
  • Asset, outlets, schedule=[Asset], datamedveten schemaläggning
  • {{ ds }}, idempotens, human-in-the-loop

Kapitel 3: Produktionsklar

  • retries, on_failure_callback, deadline-aviseringar
  • deferrable=True, Triggerer
  • DagBag, dag.test(), @task_group

Kapitel 4: SQL-arbetsbelastningar

  • SQL med SQLExecuteQueryOperator
  • CronPartitionTimetable, PartitionedAssetTimetable
  • Datakvalitet, CLI, produktionssätt Airflow
Bygg datapipelines med Airflow

Börja bygga idag

Börja bygga idag

$$

Bygg datapipelines med Airflow

Lycka till med byggandet!

Bygg datapipelines med Airflow

Preparing Video For Download...