数据管道

DevOps 概念

Cem Sakarya

DevOps Risk Advisor

数据管道

微服务通过 API 相互通信，并通过数据管道与独立数据库交互。已高亮显示数据管道。

DevOps 概念

ETL

提取；转换；加载

1 https://www.istockphoto.com/nl/vector/data-extract-transform-load-gm1361894912-434102842?phrase=ETL
DevOps 概念

批处理

批处理数据管道从微服务获取数据，进行处理后加载到独立数据库。

  • 离线数据按批迁移
  • 批处理：一次处理大量数据
DevOps 概念

多个用户同时连接到后端。

DevOps 概念

用户连接由摄取 API 写入后端。

DevOps 概念

用户连接通过流式数据管道路由到不同的微服务。

DevOps 概念

回顾

 

  • 数据工程是基础设施工程的重要组成部分
  • 数据管道是处理数据的关键而稳健的工具
  • 批处理按固定计划运行，流处理持续运行
  • 批处理适合处理累积数据
  • 流处理用于实时数据
DevOps 概念

让我们来练习！

DevOps 概念

Preparing Video For Download...