キューイング

ストリーミングの基礎概念

Mike Metzger

Data Engineer

キューとは？

• 基本は列
• 順番どおりに処理するのに有用
• 先入れ先出し（FIFO）
• バッファとも呼ばれることがある
• 仕様は実装により大きく異なる

¹ Photo by Joshua Tsu on Unsplash

なぜキューか？

• キューで処理順を追跡可能
• 単一または複数の人/プログラムで処理できる
• 残りの処理パイプラインから切り離し可能
• 垂直・水平に比較的容易にスケール
  • 垂直スケール: 高速なハードウェアを追加
  • 水平スケール: 実行者を追加

キューの課題

• 不正データや処理エラー
  • 無効なクレジットカードでの支払い
• データサイズのばらつき
  • 少量レーンに100点の客
• キューの長さが読めないことがある
  • 映画の初回試写
• スケーリングの限界
  • レジをこれ以上増やせない

Let's practice!

ストリーミングの基礎概念