Skalakan sistem streaming secara vertikal

Konsep Streaming

Mike Metzger

Data Engineer

Mengapa skalakan?

• Memproses data yang sama lebih cepat
• Memproses lebih banyak data dalam waktu yang sama
• Mengirim data lebih cepat (turunkan latensi)
• Memenuhi jaminan (SLA)

Skalabilitas vertikal

• Tingkatkan kapabilitas satu sistem
• Komponen lebih cepat / lebih baik
  • CPU, RAM, Disk, Jaringan
• Semua memengaruhi kinerja streaming

Kinerja CPU / GPU lebih cepat

• Eksekusi lebih cepat
• Eksekusi lebih baik
  • Set instruksi baru / ditingkatkan
• Pemrosesan GPU
  • Machine learning
  • Deep learning
  • Pemrosesan gambar
  • Operasi matriks

Dampaknya pada streaming

• Proses streaming tidak berhenti hingga selesai
• Item berbeda bisa berada di bagian berbeda dari pipeline, tetapi kapasitas total dibatasi kinerja sistem
• Komponen tertentu lebih berdampak tergantung beban kerja
• Benchmark / uji!

Ayo berlatih!

Konsep Streaming