總結

使用 Airflow 建置資料管線

Volker Janz

Developer Advocate at Astronomer

你已打造的內容

課程旅程：4 個章節構建到生產級管線

  • 使用 TaskFlow API 撰寫 Dag，並用 XCom 傳遞資料
  • 以任務對映、資產與 HITL 工作流程打造動態流程
  • 透過重試、可延後運算子與測試讓 Dag 可上線
  • 以分割與品質檢查協調 SQL 工作負載
使用 Airflow 建置資料管線

你的工具箱

第 1 章：基礎

  • @dag、@task、TaskFlow API
  • XCom、.output、資料傳遞
  • Dag 版本控管、排程策略

第 2 章：進階撰寫

  • .expand()、.partial()、動態任務對映
  • Asset、輸出端、schedule=[Asset]、資料感知排程
  • {{ ds }}、等冪性、人因介入（human-in-the-loop）

第 3 章：生產就緒

  • retries、on_failure_callback、截止告警
  • deferrable=True、Triggerer
  • DagBag、dag.test()、@task_group

第 4 章：SQL 工作負載

  • 使用 SQLExecuteQueryOperator 執行 SQL
  • CronPartitionTimetable、PartitionedAssetTimetable
  • 資料品質、CLI、讓 Airflow 生產化
使用 Airflow 建置資料管線

今天就開始動手做

今天就開始動手做

$$

使用 Airflow 建置資料管線

祝你順利打造！

使用 Airflow 建置資料管線

Preparing Video For Download...