批次處理 vs. 串流處理

串流概念

Mike Metzger

Data Engineer

快速複習

  • 批次處理以群組（批次）方式處理資料
  • 批次處理最重要的是批次大小與批次頻率
  • 佇列會依插入的順序儲存／處理資料
  • 佇列也是批次，且批次大小為 1！
  • 串流處理在途中不暫停地處理資料
  • 串流沒有明確的結束點
  • 串流會維持順序！
串流概念

著火了！

  • 接力傳桶
    • 批次大小（桶子有多大）
    • 批次頻率（傳桶有多快）

接力傳桶

  • 消防水帶
    • 連續的資料量
    • 不確定水有多少

消防水帶

1 Albert B. Kinne，公有領域，來源：Wikimedia Commons 2 Commander, U.S. Naval Forces Europe-Africa/U.S. 6th Fleet，公有領域，來源：Wikimedia Commons
串流概念

如何判斷最佳作法？

  • 取決於需求
  • 若能以群組處理，因簡單通常選 批次 最佳
  • 若需要順序，且可暫停，使用佇列
  • 若需要連續資料，或資料量未知，嘗試串流
  • 若在處理完資料前不能停，用串流
串流概念

一起來練習吧！

串流概念

Preparing Video For Download...