ストリーミングの障害

ストリーミングの基礎概念

Mike Metzger

Data Engineer

スケーリングの復習

【垂直スケーリング：計算資源】

• CPU
• RAM
• ディスク（容量・IO）
• ネットワーク

【水平スケーリング：ノード増設】

• ノード／ワーカーとしてマシンを追加

初期の懸念点

• 計算資源
  • 資源不足・低速
• ノード増設
  • 追加の接続性が必要
  • 何らかの共有資源
  • 複雑性の増加
  • たいていクラスタ管理が必要

通信上の課題

【メッセージングの問題の種類】

• 欠落メッセージ
• 遅延メッセージ
• 順不同メッセージ
• 重複メッセージ

欠落メッセージ

• 二度と現れない事象を表す
• 検知が難しい場合あり
• シーケンス識別子で扱うことがある
• 欠落要求は後続応答を遅らせ得る

遅延メッセージ

• 欠落メッセージに類似
• 遅延により処理パイプラインで問題が起こり得る
• 多くはシステム資源の問題に起因

順不同メッセージ

• 欠落／遅延の組合せ
• 古いメッセージが新しいものの後に到着する場合に発生
• 検知には何らかの順序付けや状態管理が必要
• 対応は実行中のデータ処理の種類に依存

重複メッセージ

• 同一メッセージが複数回送信・再送されると発生
• 完全回避には順序管理が必要だが、無視しても安全な場合あり
• 問題にならないこともある（例：温度測定）

演習に進みましょう！

ストリーミングの基礎概念