排队

Streaming 概念

Mike Metzger

Data Engineer

什么是排队？

• 本质上是一条队列
• 便于按顺序处理
• 先进先出（FIFO）
• 有时称为缓冲区
• 细节因实现而异

¹ 照片作者：Joshua Tsu，来源：Unsplash

为何使用队列？

• 队列可跟踪处理顺序
• 可由单个或多个人/程序处理
• 可与其余处理流水线解耦
• 易于扩展：纵向或横向
  • 纵向：更快硬件
  • 横向：增加执行器

队列问题

• 坏数据或处理错误
  • 客户使用无效信用卡支付
• 数据大小波动
  • 超市快速通道却有100件商品
• 有时难以预估长度
  • 电影首映场排队
• 扩展上限
  • 收银台空间不足

让我们来练习！

Streaming 概念