Hambatan streaming

Konsep Streaming

Mike Metzger

Data Engineer

Ulasan penskalaan

Penskalaan vertikal - sumber daya komputasi

• CPU
• RAM
• Disk (kapasitas dan IO)
• Jaringan

Penskalaan horizontal - lebih banyak node

• Tambah mesin sebagai node/worker

Kekhawatiran awal

• Sumber daya komputasi
  • Kurang memadai atau lambat
• Lebih banyak node
  • Perlu konektivitas lebih
  • Beberapa sumber daya bersama
  • Kompleksitas bertambah
  • Biasanya perlu manajemen klaster

Masalah komunikasi

Jenis masalah messaging:

• Pesan hilang
• Pesan tertunda
• Pesan tidak berurutan
• Pesan berulang

Pesan hilang

• Mewakili event yang tidak pernah muncul
• Sulit dideteksi
• Terkadang ditangani dengan identifier urutan
• Meminta pesan yang hilang bisa menunda respons berikutnya

Pesan tertunda

• Mirip dengan pesan hilang
• Dapat menyebabkan masalah pada pipeline pemrosesan karena penundaan
• Sering terkait sumber daya sistem

Pesan tidak berurutan

• Kombinasi pesan hilang/tertunda
• Terjadi saat pesan lama muncul setelah yang lebih baru
• Butuh ukuran urutan atau state untuk mendeteksi
• Penanganan bergantung pada jenis proses data yang berjalan

Pesan berulang

• Terjadi saat pesan yang sama dikirim berkali-kali atau diulang karena masalah sistem
• Perlu penanganan urutan untuk benar-benar menghindari, tapi bisa aman diabaikan
• Kadang bukan masalah (mis. pengukuran suhu)

Ayo berlatih!

Konsep Streaming