バッチの課題

ストリーミングの基礎概念

Mike Metzger

Data Engineer

遅延

  • データが処理可能になるまでの時間
    • すべてのデータは揃っているか？
  • 処理開始までの時間
    • 次の間隔はいつ始まるか？
  • データを処理する時間
    • 完了までどれくらいか？
  • 処理済みデータが利用可能になるまでの時間
    • 利用者はいつから使えるか？
ストリーミングの基礎概念

例 #1

ソースデータ待ち

  • マシンは低負荷時にログを送信
  • 通常の負荷では問題なし
  • 高負荷では送信が制限され、不具合が隠れる可能性
ストリーミングの基礎概念

例 #2

プロセス待ち

  • 1日あたりログ100GB
  • 処理に現在23時間
  • 約 4.4GB/時
  • 毎月5%増加
  • 来月は105GBで約24時間
  • 再来月は約110GBで約25時間
  • 1日分のデータ処理に1日超かかる！
ストリーミングの基礎概念

例 #3

利用可能化待ち

  • 分析はいつ利用可能になるか？
  • 売上レポートは全情報の生成を待つ必要
  • 遅延の合計が新規レポートの最短時間
    • データの収集/準備: 1日
    • データの処理: 7時間
    • システム更新: 5時間
    • レポート生成: 2分
  • 各レポートの合計: 1.5日
ストリーミングの基礎概念

演習に進みましょう！

ストリーミングの基礎概念

Preparing Video For Download...