Samenvatting

Data-pijplijnen bouwen met Airflow

Volker Janz

Developer Advocate at Astronomer

Wat je hebt gebouwd

Cursusreis: 4 hoofdstukken naar productie-pijplijnen

  • Dags geschreven met de TaskFlow API en data doorgegeven met XCom
  • Dynamische workflows gebouwd met task mapping, assets en HITL-workflows
  • Dags productierijp gemaakt met retries, deferrable operators en tests
  • SQL-workloads georkestreerd met partities en kwaliteitspoorten
Data-pijplijnen bouwen met Airflow

Je toolkit

Hoofdstuk 1: Basis

  • @dag, @task, TaskFlow API
  • XCom, .output, data doorgeven
  • Dag-versiebeheer, planningsstrategieën

Hoofdstuk 2: Geavanceerd schrijven

  • .expand(), .partial(), dynamische task mapping
  • Asset, outlets, schedule=[Asset], data-aware scheduling
  • {{ ds }}, idempotentie, human-in-the-loop

Hoofdstuk 3: Productierijp

  • retries, on_failure_callback, deadline-waarschuwingen
  • deferrable=True, Triggerer
  • DagBag, dag.test(), @task_group

Hoofdstuk 4: SQL-workloads

  • SQL met SQLExecuteQueryOperator
  • CronPartitionTimetable, PartitionedAssetTimetable
  • Datakwaliteit, CLI, Airflow in productie brengen
Data-pijplijnen bouwen met Airflow

Begin vandaag nog met bouwen

Begin vandaag nog met bouwen

$$

Data-pijplijnen bouwen met Airflow

Veel bouwplezier!

Data-pijplijnen bouwen met Airflow

Preparing Video For Download...