Стримінг даних за допомогою Azure Event Hubs

Розробка рішень на Azure на основі подій та повідомлень

Fiodar Sazanavets

Senior Software Engineer and Microsoft MVP

Вступ до Event Hubs

Автомагістраль Event Hub

Розробка рішень на Azure на основі подій та повідомлень

Огляд Event Hubs

  • Повністю керуваний сервіс для інтеграції даних у реальному часі.
  • Створений для стримінгу великих обсягів даних.
  • Використовується для телеметрії, журналів і подій застосунків.
  • Ідеальний для сценаріїв big data та аналітичних конвеєрів.

Логотип Event Hubs

Розробка рішень на Azure на основі подій та повідомлень

Порівняння Event Hubs та Event Grid

  • Інше призначення, ніж у Event Grid
  • Event Grid створений для подієво-орієнтованої архітектури
  • Event Hubs зосереджений на зборі та стримінгу подій з високою пропускною здатністю для обробки та аналітики.

Event Grid vs Event Hubs

Розробка рішень на Azure на основі подій та повідомлень

Як працює Event Hubs у масштабі

Event Hubs у масштабі

  • Мільйони подій приймаються щосекунди.
  • Події зберігаються в тимчасових розділах.
  • Події використовують для аналітики, візуалізації або зберігання.
Розробка рішень на Azure на основі подій та повідомлень

Робота Event Hubs у масштабі

  • Високошвидкісне надходження даних завдяки розділам
  • Розділення дає змогу паралельну обробку
  • Підтримка відтворення подій з певного зсуву або часу
  • Події доставляються навіть у разі тимчасових збоїв

Розділи Event Hubs

Розробка рішень на Azure на основі подій та повідомлень

Інтеграція Event Hubs з Event Grid

Event Grid з Event Hubs

Розробка рішень на Azure на основі подій та повідомлень

Інтеграція Event Hubs з Event Grid

  • Event Grid створений для подієво-орієнтованої архітектури.
  • Event Hubs:
    • Для аналітики, зберігання та візуалізації подій.
    • Безшовно інтегрується з Azure Stream Analytics, Databricks або Kafka.
    • Підтримує буферизацію подій.

Event Grid з Event Hubs

Розробка рішень на Azure на основі подій та повідомлень

Підключення споживачів Event Hubs

  • Цільові служби виступають споживачами Event Hub.

  • Споживачі читають події з розділів.

  • Клієнти підключаються за допомогою:

    • Простору назв Event Hubs,
    • Назви Event Hub,
    • Ключа доступу для автентифікації.

Споживачі Event Hubs

Розробка рішень на Azure на основі подій та повідомлень

Розширені можливості Event Hubs

  • Checkpointing дає змогу споживачам відновити обробку з місця зупинки.

  • Події можна обробляти пакетами для більшої пропускної здатності.

  • Або поодинці для мінімальної затримки.

Розширені можливості Event Hubs

Розробка рішень на Azure на основі подій та повідомлень

Давайте потренуємось!

Розробка рішень на Azure на основі подій та повідомлень

Preparing Video For Download...