现代数据架构示例

深入理解现代数据架构

Miller Trujillo

Senior Software Engineer

Lambda 架构

• 数据处理架构
• 支持大规模数据集处理
• 支持实时数据处理
• 结合批处理与流处理
• 三层：
  • 批处理层
  • 速度层
  • 服务层

Lambda 架构层：Batch（批处理）

• 主数据集
  • 不可变数据
  • 仅追加
• 预计算视图
• 银行账户
  • 主数据集：交易列表
  • 视图：应用交易得到余额
• 完全准确

Lambda 架构层：Speed（速度）

• 按计划运行批处理作业
• 已知数据与现实存在差距
• 速度层弥合该差距
• 准确性非完美

Lambda 架构层：Serving（服务）

• 合并批处理与实时视图
• 数据统一视图

Lambda 架构的复杂性

• 两层增加复杂度
• 逻辑、代码、算法重复
• 多技术栈：批处理与流处理

Kappa 架构

Lambda vs. Kappa

方面	Lambda 架构	Kappa 架构
批处理	有	通过重放事件源实现
流处理	有	有
复杂度	高	低
实时处理	被批处理层延迟	直接、流程更简洁
适用场景	复杂分析、历史数据	实时分析、实时监控

Passons à la pratique !

深入理解现代数据架构