纵向扩展流式系统

Streaming 概念

Mike Metzger

Data Engineer

为何扩展？

• 用更短时间处理相同数据
• 在相同时间处理更多数据
• 更快交付数据（降低延迟）
• 满足服务级别协议（SLA）

纵向扩展

• 提升单个系统的能力
• 更快 / 更好的组件
  • CPU、RAM、磁盘、网络
• 都会影响流处理性能

更快的 CPU/GPU 性能

• 更快的执行
• 更佳的执行
  • 新/改进的指令集
• GPU 加速
  • 机器学习
  • 深度学习
  • 图像处理
  • 矩阵运算

对流处理有何影响？

• 流处理在完成前不会停止
• 不同数据可处于管道的不同阶段，但总处理能力受系统性能限制
• 依据负载，某些组件影响更大
• 基准测试/验证！

让我们来练习！

Streaming 概念