批处理 vs. 流处理

Streaming 概念

Mike Metzger

Data Engineer

快速回顾

  • 批处理以数据分组（批次）方式处理
  • 批处理的关键是批次大小与批次频率
  • 队列按插入顺序存储/处理数据
  • 队列也是批处理，批大小为 1！
  • 流处理在过程中不断流地处理数据
  • 流处理没有明确结束
  • 流处理保持顺序！
Streaming 概念

着火了！

  • 接力传桶
    • 批大小（桶有多大）
    • 批频率（传桶有多快）

接力传桶

  • 消防水带
    • 连续的数据量
    • 不确定有多少水

消防水带

1 Albert B. Kinne，公有领域，来源：维基共享 2 Commander, U.S. Naval Forces Europe-Africa/U.S. 6th Fleet，公有领域，来源：维基共享
Streaming 概念

如何选择最佳方式？

  • 取决于需求
  • 若可按分组处理，因简单性，常用批处理
  • 若需顺序且可暂停，用队列
  • 若需连续数据，或数据量不确定，试试流处理
  • 若在处理完前不能停，用流处理
Streaming 概念

让我们来练习！

Streaming 概念

Preparing Video For Download...