数据处理

深入理解现代数据架构

Miller Trujillo

Senior Software Engineer

什么是数据处理？

• 探索
• 数据质量：检查与转换
• 分析
• 聚合
• 转换

批处理

• 批处理与流处理
• 固定数据量

流处理

固定时间窗口

滑动时间窗口

¹ https://beam.apache.org/documentation/programming-guide/#windowing

流处理概念

• 数据生成时间
• 数据到达时间
• 水位线（Watermarks）
• 迟到数据
• 触发新一轮处理

处理技术

用例	解决方案	云端方案
批处理/流处理，大数据，集群	Apache Spark、Flink、Beam	AWS EMR、AWS Glue、Google Dataproc、Google Dataflow
批处理/流处理，大数据，无服务器（由提供商全托管）	Apache Spark、Beam	AWS Glue、Google Dataflow
单个事件，简单处理，7×24 支持且无需运行服务器	通用编程语言：Python、Javascript、C#、Java、Go	AWS Lambda、Google Cloud Functions

Passons à la pratique !

深入理解现代数据架构