Zusammenfassung

Data-Pipelines mit Airflow aufbauen

Volker Janz

Developer Advocate at Astronomer

Was du gebaut hast

Kursreise: 4 Kapitel bis hin zu produktionsreifen Pipelines

  • Dags mit der TaskFlow API erstellt und Daten mit XCom übergeben
  • Dynamische Workflows mit Task Mapping, Assets und HITL-Workflows gebaut
  • Dags produktionsreif gemacht mit Retries, deferrable Operators und Tests
  • SQL-Workloads mit Partitionen und Quality Gates orchestriert
Data-Pipelines mit Airflow aufbauen

Dein Werkzeugkasten

Kapitel 1: Grundlagen

  • @dag, @task, TaskFlow API
  • XCom, .output, Daten übergeben
  • Dag-Versionierung, Scheduling-Strategien

Kapitel 2: Fortgeschrittenes Authoring

  • .expand(), .partial(), dynamisches Task Mapping
  • Asset, Outlets, schedule=[Asset], datenbasiertes Scheduling
  • {{ ds }}, Idempotenz, Human-in-the-Loop

Kapitel 3: Produktionsreife

  • retries, on_failure_callback, Deadline-Alerts
  • deferrable=True, Triggerer
  • DagBag, dag.test(), @task_group

Kapitel 4: SQL-Workloads

  • SQL mit SQLExecuteQueryOperator
  • CronPartitionTimetable, PartitionedAssetTimetable
  • Datenqualität, CLI, Airflow produktiv setzen
Data-Pipelines mit Airflow aufbauen

Heute loslegen

Heute loslegen

$$

Data-Pipelines mit Airflow aufbauen

Viel Spaß beim Bauen!

Data-Pipelines mit Airflow aufbauen

Preparing Video For Download...