Azure 中的数据处理

深入理解 Microsoft Azure

Kevin James

Technical Lead and Training Architect

实时 vs 批处理

• 选型前先确定处理类型：实时或批处理。
• 实时：即时分析
• 批处理：按计划或临时分析

实时 vs 批处理

• 选型前先确定处理类型
• 实时：即时分析
• 批处理：计划或临时分析
• 医疗示例：
  • 实时——医院急诊看板
  • 批处理——每周更新的看板
• 基础设施与成本影响不同

ETL 流程

ETL 流程

ETL 流程

处理工具

Azure Synapse Analytics

• Microsoft Fabric 的一部分
  • 集成大数据与数据仓库
• 统一的数据摄取、准备、管理与交付体验
• 支持实时洞察与批处理
• 高性能分析引擎

Azure Stream Analytics

• 实现实时数据访问
• 通过简单查询定义搭建实时分析
• 处理来自 Blob 存储等多源的数据流
• 适用于即时洞察：
  • 银行欺诈检测
  • 股市动态定价

Azure Databricks

• Microsoft 与 Databricks 合作
  • 面向 Azure 优化的分析平台
• 统一的数据工程、分析与机器学习环境
• 为数据科学家与工程师提供协作空间
• 内置 Data Lake 支持
• 同时支持实时与批处理

Azure Data Factory

• 基于云的集成服务
• 创建、调度、编排数据工作流
• 简化 ETL 流程
• 处理多样数据源与格式
• 自动化以提升灵活性

Azure HDInsight

• 托管服务，快速且可定制的数据处理
• 基于主流开源平台运行：
  • Hadoop
  • Spark
  • Kafka
• 可按需轻松扩展资源
• 与 Azure 存储无缝集成

Vamos praticar!

深入理解 Microsoft Azure