串流中的阻礙

串流概念

Mike Metzger

Data Engineer

擴充回顧

垂直擴充：運算資源

• CPU
• RAM
• 磁碟（容量與 IO）
• 網路

水平擴充：更多節點

• 新增機器作為節點／工作者

初步考量

• 運算資源
  • 資源不足或速度過慢
• 更多節點
  • 需要更高連線能力
  • 某種形式的共享資源
  • 增加複雜度
  • 通常需要某種叢集管理

通訊問題

訊息問題類型：

• 遺漏訊息
• 延遲訊息
• 順序錯亂的訊息
• 重複訊息

遺漏訊息

• 代表事件從未出現
• 不易偵測
• 有時以序號識別處理
• 要求補送遺漏訊息可能延誤後續回應

延遲訊息

• 與遺漏訊息相似
• 因延遲可能對處理流程造成問題
• 常與系統資源問題相關

順序錯亂的訊息

• 遺漏／延遲的組合
• 當較舊訊息晚於較新訊息出現時產生
• 需要某種序列或狀態量測才能偵測
• 處理方式取決於執行的資料處理類型

重複訊息

• 當同一則訊息被多次送出或因系統問題重送時發生
• 需要序列處理才能完全避免，但有時可安全忽略
• 有時不是問題（例如溫度量測）

一起來練習吧！

串流概念