数据调度

理解 Data Engineering

Hadrien Lacroix

Content Developer at DataCamp

调度

• 适用于数据处理中的任何任务
• 调度是系统的粘合剂
• 连接各部分并组织协作
• 按顺序运行任务并解决依赖

手动、定时与传感器调度

• 手动

• 手动更新员工表

手动、定时与传感器调度

• 手动
• 按特定时间自动运行
• 满足特定条件时自动运行
  • 传感器调度

• 手动更新员工表
• 在早上6点更新员工表

手动、定时与传感器调度

• 手动
• 按特定时间自动运行
• 满足特定条件时自动运行
  • 传感器调度

• 手动更新员工表
• 在早上6点更新员工表
• 若新增员工，则更新各部门表

批处理与流处理

• 批处理
  • 按间隔汇总记录
  • 通常更便宜
• 流处理
  • 立即发送单条记录

• 艺人上传歌曲
• 员工表
• 收入表
• 新用户登录
• 另一个例子：在线 vs. 离线收听

调度工具

总结

• 什么是调度
• 配置方式
• 批处理与流处理的区别
• Spotflix 的调度实现
• Airflow、Luigi

Passons à la pratique !

理解 Data Engineering