資料倉儲與資料湖有何不同？

資料倉儲概念

Aaren Stubberfield

Data Scientist

Database

• 以列與欄儲存的結構化資料
• 交易式資料庫用來儲存交易

Data warehouse

• 彙整、整合資料並提供分析使用
• 多個輸入資料來源
• 儲存結構化資料
• 變更較複雜
  • 必須考量上、下游影響
• 典型大小 >100 GB

為何需要資料倉儲？

• 在大量資料上查詢的執行速度
• 避免拖慢交易式資料庫

Data marts

• 用於分析的關聯式資料庫
• 資料聚焦於單一主題領域
• 少數輸入資料來源
• 典型大小 <100 GB

Data lake

• 全組織的資料儲區
  • 來自多個部門的資料
  • 多個資料輸入來源
  • 典型大小 >100 GB
• 可儲存結構化與非結構化資料
  • 例如：影片、音訊與文件

Data lake

• 變更較不複雜
  • 需考量的上、下游影響較少
• 可能尚不清楚儲存目的
  • 組織度較低

重點整理

Feature	Data Warehouse	Data Mart	Data Lake
Data structure	Structured	Structured	Structured & Unstructured
Complexity to change	Complex	Complex	Less complex
Purpose of data	Known	Known	May not be known
Coverage of departments	Covers many	Covers only one	Covers many
Data sources	Many source systems	Few sources	Many source systems
Typical size	>100 GB	<100 GB	>100 GB

一起來練習吧！

資料倉儲概念