Özet

Airflow ile Veri İş Hatları Oluşturma

Volker Janz

Developer Advocate at Astronomer

Neler inşa ettin

Kurs yolculuğu: üretim hatlarına giden 4 bölüm

TaskFlow API ile DAG'ler yazdın ve XCom ile veri aktardın
Görev eşleme, varlıklar ve HITL ile dinamik iş akışları kurdun
Yeniden denemeler, ertelenebilir operatörler ve testlerle DAG'leri üretime hazır yaptın
Bölümler ve quality gate'lerle SQL iş yüklerini orkestre ettin

Araç takımın

Bölüm 1: Temeller

@dag, @task, TaskFlow API
XCom, .output, veri aktarma
DAG versiyonlama, zamanlama stratejileri

Bölüm 2: İleri seviye yazım

.expand(), .partial(), dinamik görev eşleme
Asset, çıkışlar, schedule=[Asset], veriye duyarlı zamanlama
{{ ds }}, idempotency, human-in-the-loop

Bölüm 3: Üretime hazır

retries, on_failure_callback, son tarih uyarıları
deferrable=True, Triggerer
DagBag, dag.test(), @task_group

Bölüm 4: SQL iş yükleri

SQLExecuteQueryOperator ile SQL
CronPartitionTimetable, PartitionedAssetTimetable
Veri kalitesi, CLI, Airflow'u üretime alma

Bugün inşa etmeye başla

Bugün inşa etmeye başla

Ücretsiz Astro denemesi başlat: astronomer.io/lp/signup
Airflow belgelerini keşfet: airflow.apache.org
Apache Airflow Slack topluluğuna katıl: airflow.apache.org/community

$$

Keyifli inşalar!

Airflow ile Veri İş Hatları Oluşturma

Preparing Video For Download...