编排

深入理解现代数据架构

Miller Trujillo

Senior Software Engineer

什么是编排？

处理 5 张表的高层流程

  • 协调多个作业
  • 复杂工作流的自动化配置与协调

Airflow 示例 DAG

  • 释放人力
1 https://airflow.apache.org/docs/apache-airflow/stable/core-concepts/dags.html
深入理解现代数据架构

编排 vs 调度

调度

  • 在指定时间/间隔执行任务
  • 编排工作流的启动器

调度示例

编排

自动化并协调复杂工作流

编排示例

深入理解现代数据架构

Apache Airflow

Apache Airflow 标志

  • 用 Python 协调复杂工作流
深入理解现代数据架构

编排的核心概念

  • 任务：
    • 基本执行单元
  • 依赖关系：
    • 决定任务顺序
  • 有向无环图（DAG）：
    • 任务与依赖的工作流

Airflow DAG 示例

深入理解现代数据架构

编排的核心概念

  • Operator：
    • 决定任务类型
    • BashOperator
    • PythonOperator
  • 传感器（Sensor）：
    • 等待特定条件
  • 调度器
    • 自动触发任务
深入理解现代数据架构

Passons à la pratique !

深入理解现代数据架构

Preparing Video For Download...