現代資料架構範例

理解現代資料架構

Miller Trujillo

Senior Software Engineer

Lambda 架構

• 資料處理架構
• 支援大規模資料集處理
• 支援即時處理
• 批次 + 串流並用
• 3 個主要層：
  • 批次層
  • 速度層
  • 服務層

Lambda 架構層：批次層

• 主資料集
  • 不可變資料
  • 只可追加
• 預先計算檢視
• 銀行帳戶
  • 主資料集：交易清單
  • 檢視：套用交易以計算餘額
• 完整準確

Lambda 架構層：速度層

• 依排程執行批次作業
• 已知資料與現況之間有落差
• 速度層用來縮小落差
• 準確度非完美

Lambda 架構層：服務層

• 合併批次與即時檢視
• 提供統一資料檢視

Lambda 架構的複雜度

• 兩層設計提高複雜度
• 邏輯、程式碼、演算法重複
• 多套技術棧：批次與串流

Kappa 架構

Lambda vs. Kappa

面向	Lambda 架構	Kappa 架構
批次處理	有	透過重處理事件來源
串流處理	有	有
複雜度	較高	較低
即時處理	受批次層延遲	直接、流程精簡
使用情境	複雜分析、歷史資料	即時分析、即時監控

一起來練習吧！

理解現代資料架構