Потоковая передача данных с помощью Azure Event Hubs

Разработка решений на основе событий и сообщений в Azure

Fiodar Sazanavets

Senior Software Engineer and Microsoft MVP

Введение в Event Hubs

Автострада Event Hub

Разработка решений на основе событий и сообщений в Azure

Обзор Event Hubs

  • Полностью управляемый сервис интеграции данных в реальном времени.
  • Рассчитан на потоковую передачу больших объёмов данных.
  • Используется для телеметрии, журналов и событий приложений.
  • Идеален для сценариев больших данных и аналитических конвейеров.

Логотип Event Hubs

Разработка решений на основе событий и сообщений в Azure

Event Hubs и Event Grid: сравнение

  • Другое назначение, чем у Event Grid
  • Event Grid предназначен для событийной архитектуры
  • Event Hubs ориентирован на сбор и потоковую передачу высоконагруженных данных событий для обработки и аналитики.

Event Grid и Event Hubs

Разработка решений на основе событий и сообщений в Azure

Как Event Hubs работает в масштабе

Event Hubs в масштабе

  • Приём миллионов событий каждую секунду.
  • События хранятся во временных разделах.
  • События используются для аналитики, визуализации или хранения.
Разработка решений на основе событий и сообщений в Azure

Event Hubs в масштабе

  • Высокопропускной приём данных с помощью разделов
  • Разделы обеспечивают параллельную обработку
  • Поддержка воспроизведения событий с заданного смещения или момента времени
  • События доставляются даже при временных сбоях

Разделы Event Hubs

Разработка решений на основе событий и сообщений в Azure

Интеграция Event Hubs с Event Grid

Event Grid и Event Hubs

Разработка решений на основе событий и сообщений в Azure

Интеграция Event Hubs с Event Grid

  • Event Grid предназначен для событийной архитектуры.
  • Event Hubs:
    • Используется для аналитики, хранения и визуализации данных событий.
    • Легко интегрируется с Azure Stream Analytics, Databricks или Kafka.
    • Поддерживает буферизацию событий.

Event Grid и Event Hubs

Разработка решений на основе событий и сообщений в Azure

Подключение потребителей Event Hubs

  • Целевые сервисы выступают потребителями Event Hub.

  • Потребители считывают события из разделов.

  • Клиенты подключаются с помощью:

    • пространства имён Event Hubs,
    • имени Event Hub,
    • ключа доступа для аутентификации.

Потребители Event Hubs

Разработка решений на основе событий и сообщений в Azure

Расширенные возможности Event Hubs

  • Создание контрольных точек позволяет потребителям возобновлять обработку с того места, где они остановились.

  • События можно обрабатывать пакетами для повышения пропускной способности.

  • Также возможна обработка событий по одному для сценариев с низкой задержкой.

Расширенные возможности Event Hubs

Разработка решений на основе событий и сообщений в Azure

Давайте потренируемся!

Разработка решений на основе событий и сообщений в Azure

Preparing Video For Download...