資料倉儲與資料湖

Understanding Data Engineering

Hadrien Lacroix

Content Developer

湖景倉庫

資料湖與資料倉儲

資料湖

• 儲存所有原始資料
• 可達 PB 規模（1,000,000 GB）
• 支援各種資料結構
• 成本較低
• 難以分析
• 需要最新的資料目錄
• 供資料科學家使用
• 大數據、即時分析

資料倉儲

• 特定用途的特定資料
• 相對較小
• 以結構化資料為主
• 更新成本較高
• 為資料分析最佳化
• 資料分析師與商業分析師也會使用
• 臨時、唯讀查詢

資料湖的資料目錄

• 這份資料的來源是什麼？
• 這份資料用在哪裡？
• 誰擁有這份資料？
• 這份資料多久更新一次？
• 符合資料治理的良好作法
• 確保可重現性
• 沒有目錄 → 變成資料沼澤

• 適用於任何資料儲存解決方案的良好作法
  • 可靠性
  • 自主性
  • 可擴展性
  • 速度

資料庫 vs. 資料倉儲

• 資料庫：
  • 泛稱
  • 寬鬆定義為：在電腦上組織、儲存並可存取的資料
• 資料倉儲是一種資料庫

重點回顧

• 資料湖
• 資料倉儲
• 資料庫
• 資料目錄

一起來練習吧！

Understanding Data Engineering