批次處理入門

串流概念

Mike Metzger

Data Engineer

什麼是批次處理？

• 以群組方式處理資料
• 從流程開始執行到結束
  • 中間不加入新資料
• 通常因{{4}}而執行
  • 固定間隔
  • 啟動事件
• 以特定大小處理（batch size）
• 一次批次處理常稱為一個工作（job）

常見的批次處理情境

• 讀取檔案或檔案片段（文字、mp3 等）
• 寄送／接收電子郵件
• 列印

為何用批次？

• 簡單
• 通常很一致
• 有多種方式提升效能

一起來練習吧！

串流概念