使用 Azure Event Hubs 进行数据流处理

开发 Azure 事件驱动与消息驱动解决方案

Fiodar Sazanavets

Senior Software Engineer and Microsoft MVP

Event Hubs 简介

Event Hubs 概览

• 全托管的实时数据集成服务。
• 为大规模数据流设计。
• 用于遥测、日志和应用事件。
• 适用于大数据与分析流水线。

对比 Event Hubs 与 Event Grid

• 与 Event Grid 用途不同
• Event Grid 用于事件驱动架构
• Event Hubs 专注采集并流式传输高吞吐事件用于处理与分析

Event Hubs 的规模化工作机制

• 每秒可摄取数百万事件。
• 事件暂存于分区。
• 事件用于分析、可视化或存储。

Event Hubs 的规模化能力

• 通过分区实现高吞吐量摄取
• 分区支持并行处理
• 支持按偏移量或时间回放事件
• 即使发生瞬时故障也能投递事件

将 Event Hubs 与 Event Grid 集成

将 Event Hubs 与 Event Grid 集成

• Event Grid 面向事件驱动架构。
• Event Hubs：
  • 用于事件数据分析、存储与可视化。
  • 无缝集成 Azure Stream Analytics、Databricks 或 Kafka。
  • 支持事件缓冲。

连接 Event Hubs 消费者

• 目标服务作为 Event Hub 的消费者。

• 消费者从分区读取事件。

• 客户端连接需：

  • Event Hubs 命名空间，
  • Event Hub 名称，
  • 用于认证的访问密钥。

Event Hubs 高级功能

• 检查点让消费者可从中断处恢复处理。

• 可按批处理提升吞吐量。

• 也可逐条处理以降低延迟。

Vamos praticar!

开发 Azure 事件驱动与消息驱动解决方案