串流系統的水平擴充

串流概念

Mike Metzger

Data Engineer

水平擴充複習

• 與其向「上」擴充，改為向「外」擴充
• 通常是透過增加數量來提升處理能力，而非更快／更好
• 最適合高度可並行的情境
  • 工作可輕易切分
  • 例如處理大量彼此獨立的影像

串流情境下的水平擴充

• 串流資料處理通常有極小延遲
• 工作者之間的資料傳遞可能變得棘手
• 最好在單一 pipeline 內處理一整段串流
• 建立該 pipeline 的多個複本

Pipeline 複本

• 事件發生時，會先進入某個 pipeline
• 與該流程相關的所有任務在完成前都封裝於該 pipeline
• 透過增加更多 pipeline 來擴充
• 仍可在單一 pipeline 內垂直擴充

其他考量

• 可能需要其他元件
• 載入平衡器／導流器
  • 發牌員
  • 最不忙的節點
• 最終仍會遇到瓶頸
  • 磁碟寫入效能
• 考慮縮短串流 pipeline
  • 免去立即處理資料的需求

一起來練習吧！

串流概念