评估现代数据架构方案

深入理解现代数据架构

Miller Trujillo

Senior Software Engineer

数据摄取

• 到达模式不可预测
• 如果改为拉取数据？
  • 暴露文件
  • 网络文件系统

存储

• 云存储：

  • 比数据仓库或数据库更便宜
  • 灵活，并提供所需 API

• 仍可用 BigQuery 吗？

  • 足够便宜
  • 受加载限制，不太可行

• 用生命周期策略进一步降本

处理

• Dataflow、Dataproc（Spark），或 Data Fusion
• 到达模式不可预测
• 数据到达即处理
• 简单性
• 时序数据
• 用生命周期策略自动清理
• 无需维护模式

处理：模型打分

• 全局追踪更复杂
• 维护更容易
• 上一作业写入 NoSQL 数据库，本作业补充数据

数据服务层

• BigQuery 用于分析
• NoSQL 数据库 => 更易扩展、更灵活

其他细节

• 治理、编排、安全等
• 进一步细化平台与需求
• 支持更好的管理
• 无一刀切方案！

一切都是权衡

让我们练习吧！

深入理解现代数据架构