オーケストレーション
現代のデータアーキテクチャを理解する
Miller Trujillo
Senior Software Engineer
オーケストレーションとは
- 複数ジョブを調整
- 複雑なワークフローを自動設定・調整
- 人的リソースを解放
1 https://airflow.apache.org/docs/apache-airflow/stable/core-concepts/dags.html
オーケストレーション vs スケジューリング
スケジューリング
- 指定の間隔/時刻にタスク実行
- オーケストレーションされたワークフローの起点
オーケストレーション
複雑なワークフローを自動化・調整
Apache Airflow
- Python で複雑なワークフローを調整
オーケストレーションの基本概念
- タスク:
- 実行の基本単位
- 依存関係:
- タスクの順序を決める
- 有向非巡回グラフ (DAG):
- タスクと依存関係のワークフロー
