批处理问题

Streaming 概念

Mike Metzger

Data Engineer

延迟

  • 直到数据可处理的时间
    • 所有数据都可用吗？
  • 直到开始处理的时间
    • 下一个间隔何时开始？
  • 处理数据所需时间
    • 距离完成还有多久？
  • 直到处理后数据可用的时间
    • 用户何时可以使用数据？
Streaming 概念

示例 1

等待源数据

  • 机器在低负载时发送日志
  • 在正常负载下运行良好
  • 高负载会限制发送日志，可能掩盖问题
Streaming 概念

示例 2

等待处理过程

  • 日志文件每天为100GB
  • 目前处理需23 小时
  • 约 4.4GB/小时
  • 每月增长 5%
  • 下月105GB，耗时约 24 小时
  • 再下月约 110GB，耗时约 25 小时
  • 处理一天的数据要超过一天！
Streaming 概念

示例 3

等待数据可用

  • 分析何时可用？
  • 销售报告必须等待全部信息生成
  • 延迟之和为生成新报告的最短时间
    • 收集/准备数据：1 天
    • 处理数据：7 小时
    • 更新系统：5 小时
    • 生成报告：2 分钟
  • 每份报告总耗时：1.5 天
Streaming 概念

让我们来练习！

Streaming 概念

Preparing Video For Download...