数据仓库与数据湖有何区别？

数据仓库概念

Aaren Stubberfield

Data Scientist

数据库

• 行列式的结构化数据
• 事务型数据库存储交易

数据仓库

• 采集、整合数据并供分析使用
• 输入数据源多
• 存储结构化数据
• 变更复杂
  • 需考虑上下游影响
• 通常大于 100 GB

为何需要数据仓库？

• 大数据量下查询速度
• 避免拖慢事务型数据库

数据集市

• 用于分析的关系型数据库
• 面向单一主题域的数据
• 输入数据源少
• 通常小于 100 GB

数据湖

• 全组织的数据存储
  • 汇集多部门数据
  • 输入数据源多
  • 通常大于 100 GB
• 存储结构化与非结构化数据
  • 示例：视频、音频、文档

数据湖

• 变更更简单
  • 上下游影响更少需考虑
• 存储目的可能未知
  • 组织性较弱

总结

特性	数据仓库	数据集市	数据湖
数据结构	结构化	结构化	结构化与非结构化
变更复杂度	复杂	复杂	较低
数据用途	已知	已知	可能未知
部门覆盖	覆盖多部门	仅覆盖一个	覆盖多部门
数据来源	多源系统	少量来源	多源系统
典型规模	>100 GB	<100 GB	>100 GB

Ayo berlatih!

数据仓库概念