批次問題

串流概念

Mike Metzger

Data Engineer

延遲

  • 直到資料可處理所需時間
    • 所有資料都可用嗎？
  • 直到開始處理所需時間
    • 下一個區間何時開始？
  • 處理資料所需時間
    • 距離完成還要多久？
  • 已處理資料可供使用前的時間
    • 使用者何時能用到資料？
串流概念

範例 #1

等待來源資料

  • 機器在低使用率時傳送日誌檔
  • 在正常使用率下運作良好
  • 高使用率會限制傳送日誌的能力，可能掩蓋問題。
串流概念

範例 #2

等待處理程序

  • 每天 100GB 日誌檔
  • 目前處理需 23 小時
  • 約 4.4GB/小時
  • 每月成長 5%
  • 下個月 105GB，需時 約 24 小時
  • 再下個月 約 110GB，需時 約 25 小時
  • 處理一天的資料超過一天！
串流概念

範例 #3

等待資料可用

  • 解析何時可用？
  • 銷售報告必須等待所有資訊產出
  • 延遲總和是產出新報告的最短時間
    • 蒐集／準備資料時間：1 天
    • 處理資料時間：7 小時
    • 更新系統時間：5 小時
    • 產生報告時間：2 分鐘
  • 每份報告總時間：1.5 天
串流概念

一起來練習吧！

串流概念

Preparing Video For Download...