数据仓库与数据湖

理解 Data Engineering

Hadrien Lacroix

Content Developer

湖景仓库，风光绝佳

数据湖与数据仓库

数据湖

• 存储所有原始数据
• 规模可达PB（100万 GB）
• 存储所有数据结构
• 成本低
• 难以分析
• 需配备最新的数据目录
• 由数据科学家使用
• 大数据与实时分析

数据仓库

• 面向特定用途的特定数据
• 相对较小
• 主要存储结构化数据
• 更新成本更高
• 为数据分析优化
• 亦供数据分析师与业务分析师使用
• 即席、只读查询

数据湖的数据目录

• 此数据来源于何处？
• 此数据用于何处？
• 谁是数据所有者？
• 此数据多长时间更新一次？
• 有利于数据治理的良好实践
• 确保可复现性
• 无目录 --> 数据沼泽

• 适用于任何数据存储的良好实践
  • 可靠性
  • 自主性
  • 可扩展性
  • 速度

数据库 vs. 数据仓库

• 数据库：
  • 通用术语
  • 粗略定义为：在计算机上存储与访问的有组织数据
• 数据仓库是数据库的一种

小结

• 数据湖
• 数据仓库
• 数据库
• 数据目录

让我们来练习！

理解 Data Engineering