横向扩展流处理系统

Streaming 概念

Mike Metzger

Data Engineer

横向扩展回顾

• 不再向"上"扩展，改为向"外"扩展
• 通常是通过增加数量而非更快/更强来提升处理能力
• 最适合尴尬并行的场景
  • 任务可轻松拆分
  • 如处理大量相互独立的图像

流式场景下的横向扩展

• 流式数据处理通常有极低延迟
• 在工作节点间传输数据可能棘手
• 最好在单一流水线内处理完整数据流
• 通过创建流水线的副本实现扩展

流水线副本

• 事件发生时先进入一条流水线
• 与该过程相关的所有任务在流水线内自洽完成
• 通过增加流水线副本来扩展
• 仍可在单条流水线内进行纵向扩展

其他考虑因素

• 可能需要其他组件
• 负载均衡器/调度器
  • 发牌员
  • 最空闲节点
• 最终会遇到瓶颈
  • 磁盘写入性能
• 考虑缩短流式流水线
  • 消除立即处理数据的需求

Let's practice!

Streaming 概念