批处理简介

Streaming 概念

Mike Metzger

Data Engineer

什么是批处理？

• 以分组方式处理数据
• 从流程开始运行到结束
  • 中途不加入新数据
• 通常由以下触发
  • 时间间隔
  • 启动事件
• 按固定大小处理（批大小）
• 一次批处理实例常称为一个作业

常见批处理场景

• 读取文件或文件片段（文本、mp3 等）
• 发送/接收电子邮件
• 打印

为何使用批处理？

• 简单
• 通常较为稳定
• 有多种方式提升性能

让我们练习吧！

Streaming 概念