評估現代資料架構解決方案

理解現代資料架構

Miller Trujillo

Senior Software Engineer

擷取（Ingestion）

• 不可預期的模式
• 若改為由我們拉取資料？
  • 開放檔案存取
  • 網路檔案系統

儲存

• 雲端儲存具備：

  • 比資料倉儲或資料庫更便宜
  • 彈性高，並提供所需 API

• BigQuery 仍可選嗎？

  • 成本夠低
  • 載入受限，可能不可行

• 生命週期原則可再降成本

處理

• Dataflow、Dataproc（Spark），或 Data Fusion
• 抵達時間不可預期
• 資料一到就處理
• 簡化
• 時序型資料
• 用生命週期原則自動清理
• 無需維護綱要（schema）

處理：模型評分

• 全盤追蹤較複雜
• 維護更容易
• 先前作業可寫入 NoSQL DB，本作業補足資料

資料服務層

• BigQuery 用於分析
• NoSQL DB ⇒ 更易擴充與彈性

其他重點

• 治理、編排、安全性等
• 進一步精煉平台與需求
• 提升管理效率
• 沒有放諸四海皆準！

一切都是取捨

一起來練習吧！

理解現代資料架構