Skalakan sistem streaming secara horizontal

Konsep Streaming

Mike Metzger

Data Engineer

Ulasan skala horizontal

• Alih-alih skala "ke atas", skala "ke luar"
• Biasanya menambah kapasitas dengan menambah jumlah, bukan mempercepat/memperkuat
• Paling efektif untuk kasus sangat paralel
  • Tugas mudah dipecah
  • Mis. memproses banyak gambar yang saling independen

Skala horizontal untuk streaming

• Pemrosesan data streaming biasanya berlambat minimal
• Dapat membuat transfer data antar pekerja jadi rumit
• Terbaik memproses satu aliran penuh dalam satu pipeline
• Buat salinan pipeline

Salinan pipeline

• Saat event terjadi, awalnya masuk ke sebuah pipeline
• Semua tugas terkait proses tersendiri dalam pipeline hingga selesai
• Skala dengan menambah pipeline
• Masih bisa skala vertikal di dalam pipeline

Pertimbangan tambahan

• Mungkin perlu komponen lain
• Load balancer / direktur
  • Pembagi kartu
  • Node tersibuk paling sedikit
• Pada akhirnya ada kemacetan
  • Kinerja tulis disk
• Pertimbangkan memendekkan pipeline streaming
  • Hilangkan kebutuhan memproses data seketika

Ayo berlatih!

Konsep Streaming