編排

理解現代資料架構

Miller Trujillo

Senior Software Engineer

什麼是編排？

處理 5 個資料表的高階流程

  • 協調多個作業
  • 自動化設定並協調複雜工作流程。

Airflow 範例 DAG

  • 釋放人力資源
1 https://airflow.apache.org/docs/apache-airflow/stable/core-concepts/dags.html
理解現代資料架構

編排 vs 排程

排程

  • 於指定間隔／時間執行任務
  • 編排工作流程的啟動器

排程範例

編排

自動化並協調複雜工作流程

編排範例

理解現代資料架構

Apache Airflow

Apache Airflow 標誌

  • 以 Python 協調複雜工作流程
理解現代資料架構

編排的核心概念

  • 任務（Tasks）：
    • 執行的基本單位
  • 相依性（Dependencies）：
    • 決定任務順序
  • 有向無環圖（DAG）：
    • 任務與相依性的工作流程

Airflow DAG 範例

理解現代資料架構

編排的核心概念

  • Operators：
    • 決定任務性質
    • BashOperator
    • PythonOperator
  • Sensors：
    • 等待特定條件
  • Scheduler
    • 自動觸發任務。
理解現代資料架構

一起來練習吧！

理解現代資料架構

Preparing Video For Download...