数据服务

深入理解现代数据架构

Miller Trujillo

Senior Software Engineer

服务层

• 处理后数据存放何处
• 消费所用协议

我们有哪些数据？

• 我们有哪些数据？
  • 是否为结构化数据？
  • 是否为时间序列？
• 数据将如何被消费？

• 数据仓库
  • 自动化报表/仪表板
  • BI/数据分析
  • 直接查询
• Blob 存储
• 时序数据库
• NoSQL 数据库

数据将如何被消费？

• 数据仓库
  • 自动化报表/仪表板
  • BI/数据分析
  • 直接查询
• 机器学习模型
• 应用
  • 汇总信息
  • 单条记录
• 没有万能方案！

按用例服务您的数据

系统	数据类型	消费用例	工具
数据仓库	结构化数据，可处理半结构化数据	分析查询、BI/分析、报表/仪表板	BigQuery、Redshift、Snowflake
Blob 存储	各类数据	含视频/图像处理的机器学习、归档	S3、Cloud Storage、Azure Storage
NoSQL 数据库	半结构化数据、时间序列	API 暴露，高并发需求	BigTable、DataStore、DynamoDB、CosmosDB
RDMBS	结构化数据，可处理半结构化数据	单条记录消费、API 暴露、较低并发需求	Postgres、MySQL、Oracle

服务 vs. 消费

Passons à la pratique !

深入理解现代数据架构