流处理障碍

Streaming 概念

Mike Metzger

Data Engineer

扩展回顾

垂直扩展——计算资源

• CPU
• 内存（RAM）
• 磁盘（容量与IO）
• 网络

水平扩展——更多节点

• 增加作为节点/工作器的机器

初步关注点

• 计算资源
  • 资源不足或速度慢
• 更多节点
  • 需要更高的连接性
  • 某种共享资源
  • 额外的复杂性
  • 通常需要集群管理

通信问题

消息问题类型：

• 缺失消息
• 延迟消息
• 乱序消息
• 重复消息

缺失消息

• 表示从未出现的事件
• 可能难以检测
• 有时用序列标识符处理
• 请求缺失消息可能会延迟后续响应

消息延迟

• 与缺失消息类似
• 由于延迟，可能对处理管道造成问题
• 常与系统资源问题相关

乱序消息

• 缺失/延迟消息的组合
• 当较旧的消息晚于较新消息到达时出现
• 需一定的序列或状态才能检测
• 处理方式取决于所运行的数据处理类型

重复消息

• 当同一条消息被多次发送，或因系统问题重发时发生
• 需要序列处理才能完全避免，但有时可忽略
• 有时不是问题（如温度测量）

Passons à la pratique !

Streaming 概念