Streaming data menggunakan Azure Event Hubs

Mengembangkan Solusi Berbasis Event dan Pesan di Azure

Fiodar Sazanavets

Senior Software Engineer and Microsoft MVP

Pengantar Event Hubs

Jalan tol Event Hub

Mengembangkan Solusi Berbasis Event dan Pesan di Azure

Ringkasan Event Hubs

  • Layanan integrasi data real-time terkelola penuh.
  • Dirancang untuk streaming data berukuran besar.
  • Dipakai untuk telemetri, log, dan event aplikasi.
  • Ideal untuk skenario big data dan pipeline analitik.

Logo Event Hubs

Mengembangkan Solusi Berbasis Event dan Pesan di Azure

Membandingkan Event Hubs dan Event Grid

  • Berbeda tujuan dengan Event Grid
  • Event Grid dirancang untuk arsitektur berbasis event
  • Event Hubs fokus mengumpulkan dan men-streaming data event throughput tinggi untuk pemrosesan dan analitik.

Event Grid vs Event Hubs

Mengembangkan Solusi Berbasis Event dan Pesan di Azure

Cara kerja Event Hubs pada skala besar

Event Hubs pada skala besar

  • Jutaan event diingest setiap detik.
  • Event disimpan sementara dalam partisi.
  • Event digunakan untuk analitik, visualisasi, atau penyimpanan.
Mengembangkan Solusi Berbasis Event dan Pesan di Azure

Event Hubs bekerja pada skala besar

  • Ingesti data throughput tinggi dengan partisi
  • Partisi memungkinkan pemrosesan paralel
  • Dukung pemutaran ulang dari offset atau waktu tertentu
  • Event tetap terkirim meski terjadi kegagalan sementara

Partisi Event Hubs

Mengembangkan Solusi Berbasis Event dan Pesan di Azure

Integrasi Event Hubs dengan Event Grid

Event Grid dengan Event Hubs

Mengembangkan Solusi Berbasis Event dan Pesan di Azure

Integrasi Event Hubs dengan Event Grid

  • Event Grid dirancang untuk arsitektur berbasis event.
  • Event Hubs:
    • Untuk analitik, penyimpanan, dan visualisasi data event.
    • Terintegrasi mulus dengan Azure Stream Analytics, Databricks, atau Kafka.
    • Mendukung penyanggaan (buffering) event.

Event Grid dengan Event Hubs

Mengembangkan Solusi Berbasis Event dan Pesan di Azure

Menghubungkan konsumen Event Hubs

  • Layanan target bertindak sebagai konsumen Event Hub.

  • Konsumen membaca event dari partisi.

  • Klien terhubung menggunakan:

    • Namespace Event Hubs,
    • Nama Event Hub,
    • Kunci akses untuk autentikasi.

Konsumen Event Hubs

Mengembangkan Solusi Berbasis Event dan Pesan di Azure

Fitur lanjutan Event Hubs

  • Checkpointing memungkinkan konsumen melanjutkan dari titik terakhir.

  • Event dapat diproses dalam batch untuk throughput lebih tinggi.

  • Event juga bisa ditangani satu per satu untuk latensi rendah.

Fitur lanjutan Event Hubs

Mengembangkan Solusi Berbasis Event dan Pesan di Azure

Ayo berlatih!

Mengembangkan Solusi Berbasis Event dan Pesan di Azure

Preparing Video For Download...