Streaming de date cu Azure Event Hubs

Dezvoltă soluții Azure bazate pe evenimente și mesaje

Fiodar Sazanavets

Senior Software Engineer and Microsoft MVP

Introducere în Event Hubs

Autostradă Event Hub

Dezvoltă soluții Azure bazate pe evenimente și mesaje

Prezentare generală Event Hubs

  • Serviciu complet gestionat de integrare a datelor în timp real.
  • Proiectat pentru streaming de volume mari de date.
  • Utilizat pentru telemetrie, jurnale și evenimente de aplicații.
  • Ideal pentru scenarii big data și pipeline-uri de analiză.

Logo Event Hubs

Dezvoltă soluții Azure bazate pe evenimente și mesaje

Comparație: Event Hubs vs Event Grid

  • Scop diferit față de Event Grid
  • Event Grid este proiectat pentru arhitecturi bazate pe evenimente
  • Event Hubs se concentrează pe colectarea și streaming-ul datelor de tip eveniment cu debit ridicat, pentru procesare și analiză.

Event Grid vs Event Hubs

Dezvoltă soluții Azure bazate pe evenimente și mesaje

Cum funcționează Event Hubs la scară largă

Event Hubs la scară largă

  • Milioane de evenimente ingerate în fiecare secundă.
  • Evenimentele sunt stocate în partiții temporare.
  • Evenimentele sunt utilizate pentru analiză, vizualizare sau stocare.
Dezvoltă soluții Azure bazate pe evenimente și mesaje

Event Hubs la scară largă

  • Ingestie de date cu debit ridicat prin partiții
  • Partiționarea permite procesarea paralelă
  • Suport pentru reluarea evenimentelor de la un offset sau moment specific
  • Evenimentele sunt livrate chiar dacă apare o eroare tranzitorie

Partiții Event Hubs

Dezvoltă soluții Azure bazate pe evenimente și mesaje

Integrarea Event Hubs cu Event Grid

Event Grid cu Event Hubs

Dezvoltă soluții Azure bazate pe evenimente și mesaje

Integrarea Event Hubs cu Event Grid

  • Event Grid este proiectat pentru arhitecturi bazate pe evenimente.
  • Event Hubs:
    • Este destinat analizei, stocării și vizualizării datelor de tip eveniment.
    • Se integrează nativ cu Azure Stream Analytics, Databricks sau Kafka.
    • Suportă buffering de evenimente.

Event Grid cu Event Hubs

Dezvoltă soluții Azure bazate pe evenimente și mesaje

Conectarea consumatorilor Event Hubs

  • Serviciile destinație acționează ca consumatori ai unui Event Hub.

  • Consumatorii citesc evenimente din partiții.

  • Clienții se conectează folosind:

    • Spațiul de nume Event Hubs,
    • Numele Event Hub,
    • O cheie de acces pentru autentificare.

Consumatori Event Hubs

Dezvoltă soluții Azure bazate pe evenimente și mesaje

Funcționalități avansate Event Hubs

  • Checkpointing permite consumatorilor să reia procesarea de unde au rămas.

  • Evenimentele pot fi procesate în loturi pentru un debit mai ridicat.

  • Evenimentele pot fi gestionate și individual în scenarii cu latență redusă.

Funcționalități avansate Event Hubs

Dezvoltă soluții Azure bazate pe evenimente și mesaje

Să exersăm!

Dezvoltă soluții Azure bazate pe evenimente și mesaje

Preparing Video For Download...