Scalare verticalmente i sistemi di streaming

Concetti di Streaming

Mike Metzger

Data Engineer

Perché scalare?

• Elaborare gli stessi dati in meno tempo
• Elaborare più dati nello stesso tempo
• Consegnare i dati più rapidamente (meno latenza)
• Rispettare le garanzie (SLA)

Scalabilità verticale

• Migliorare le capacità di un singolo sistema
• Componenti più veloci / migliori
  • CPU, RAM, Disco, Rete
• Tutto può influire sulle prestazioni dello streaming

CPU/GPU più veloci

• Esecuzione più rapida
• Esecuzione migliore
  • Set di istruzioni nuovi/migliorati
• Elaborazione GPU
  • Machine learning
  • Deep learning
  • Elaborazione di immagini
  • Operazioni su matrici

Come incide sullo streaming?

• I processi di streaming non si fermano finché non finiscono
• Elementi diversi possono trovarsi in parti diverse della pipeline, ma la capacità totale è limitata dalle prestazioni del sistema
• Alcuni componenti incidono più di altri, in base al carico
• Fai benchmark/test!

Passiamo alla pratica!

Concetti di Streaming