まとめ

Airflow によるデータパイプラインの構築

Volker Janz

Developer Advocate at Astronomer

学んだこと

コース全体の流れ：4章を経て本番パイプラインへ

TaskFlow API で DAG を作成し、XCom でデータを受け渡した
タスクマッピング、アセット、HITL ワークフローで動的ワークフローを構築した
リトライ、Deferrable オペレーター、テストで DAG を本番対応にした
パーティションと品質ゲートで SQL ワークロードをオーケストレーションした

習得したツール

第1章：基礎

@dag、@task、TaskFlow API
XCom、.output、データの受け渡し
DAG のバージョン管理、スケジューリング戦略

第2章：高度な作成

.expand()、.partial()、動的タスクマッピング
Asset、アウトレット、schedule=[Asset]、データ駆動スケジューリング
{{ ds }}、冪等性、ヒューマン・イン・ザ・ループ

第3章：本番対応

retries、on_failure_callback、期限アラート
deferrable=True、Triggerer
DagBag、dag.test()、@task_group

第4章：SQL ワークロード

SQLExecuteQueryOperator による SQL 実行
CronPartitionTimetable、PartitionedAssetTimetable
データ品質、CLI、Airflow の本番化

今日から構築を始めましょう

今日から構築を始めましょう

Astro 無料トライアルを始める: astronomer.io/lp/signup
Airflow ドキュメントを確認する: airflow.apache.org
Apache Airflow Slack コミュニティに参加する: airflow.apache.org/community

$$

楽しんで構築しましょう！

Airflow によるデータパイプラインの構築

Preparing Video For Download...