Shrnutí

Tvorba datových pipeline s Airflow

Volker Janz

Developer Advocate at Astronomer

Co jsi vytvořil/a

Kurz: 4 kapitoly vedoucí k produkčním pipeline

  • Tvorba DAGů přes TaskFlow API a předávání dat přes XCom
  • Dynamické workflow pomocí task mappingu, assetů a HITL
  • DAGy připravené pro produkci s retryi, deferrable operátory a testy
  • Orchestrace SQL workloadů s partitions a quality gates
Tvorba datových pipeline s Airflow

Tvůj toolkit

Kapitola 1: Základy

  • @dag, @task, TaskFlow API
  • XCom, .output, předávání dat
  • Verzování DAGů, strategie plánování

Kapitola 2: Pokročilá tvorba

  • .expand(), .partial(), dynamický task mapping
  • Asset, outlety, schedule=[Asset], data-aware scheduling
  • {{ ds }}, idempotence, human-in-the-loop

Kapitola 3: Produkční připravenost

  • retries, on_failure_callback, deadline alerty
  • deferrable=True, Triggerer
  • DagBag, dag.test(), @task_group

Kapitola 4: SQL workloady

  • SQL s SQLExecuteQueryOperator
  • CronPartitionTimetable, PartitionedAssetTimetable
  • Datová kvalita, CLI, produkční nasazení Airflow
Tvorba datových pipeline s Airflow

Začni budovat ještě dnes

Začni budovat ještě dnes

$$

Tvorba datových pipeline s Airflow

Přejeme zdárné budování!

Tvorba datových pipeline s Airflow

Preparing Video For Download...