資料服務

理解現代資料架構

Miller Trujillo

Senior Software Engineer

服務層

• 已處理資料儲放位置
• 取用的通訊協定

我們有哪些資料？

• 我們有哪些資料？
  • 資料是結構化的嗎？
  • 是時間序列嗎？
• 資料如何被取用？

• Data Warehouse
  • 自動化報表／儀表板
  • BI／資料分析
  • 直接查詢
• 物件儲存（Blob storage）
• 時間序列資料庫
• NoSQL 資料庫

資料將如何被取用？

• 資料倉儲
  • 自動化報表／儀表板
  • BI／資料分析
  • 直接查詢
• 機器學習模型
• 應用程式
  • 摘要資訊
  • 個別紀錄
• 沒有一體適用！

依使用情境提供資料服務

系統	資料型態	取用情境	工具
Data warehouse	結構化資料，可處理半結構化資料	分析查詢、BI／分析、報表／儀表板	BigQuery、Redshift、Snowflake
Blob storage	各類型資料	影像／影片處理的 ML 模型、封存	S3、Cloud Storage、Azure Storage
NoSQL database	半結構化資料、時間序列	提供 API、 高需求	BigTable、DataStore、DynamoDB、CosmosDB
RDMBS	結構化資料，可處理半結構化資料	個別紀錄取用、提供 API、較低需求	Postgres、MySQL、Oracle

服務 vs. 取用

一起來練習吧！

理解現代資料架構