バッチ処理入門

ストリーミングの基礎概念

Mike Metzger

Data Engineer

バッチ処理とは？

• データをグループで処理
• プロセスの最初から**最後まで**実行
  • 途中でデータは追加しない
• 通常の起動要因
  • 一定間隔
  • 開始イベント
• 一定のサイズで処理（バッチサイズ）
• バッチ処理の1回分はジョブと呼ぶことが多い

一般的なバッチ処理の例

• ファイルや一部（テキスト、mp3 など）の読み取り
• メールの送受信
• 印刷

なぜバッチか

• シンプル
• おおむね一貫
• 性能を高める方法が複数ある

演習に進みましょう

ストリーミングの基礎概念