Vertikal skalning av strömmande system

Streamingkoncept

Mike Metzger

Data Engineer

Varför skala?

• Bearbeta samma data på kortare tid
• Bearbeta mer data på samma tid
• Leverera data snabbare (minska latensen)
• Uppfylla garantier (SLA:er)

Vertikal skalning

• Förbättra kapaciteten hos ett enskilt system
• Snabbare / bättre komponenter
  • CPU, RAM, Disk, Nätverk
• Alla kan påverka strömningsprestandan

Snabbare CPU/GPU-prestanda

• Snabbare körning
• Bättre körning
  • Nya/förbättrade instruktionsuppsättningar
• GPU-bearbetning
  • Maskininlärning
  • Djupinlärning
  • Bildbearbetning
  • Matrisoperationer

Hur påverkar detta strömning?

• Strömningsprocesser avslutas inte förrän de är klara
• Olika objekt kan befinna sig i olika delar av pipelinen, men den totala bearbetningskapaciteten begränsas av systemprestandan
• Vissa komponenter har större påverkan än andra, beroende på arbetsbelastning
• Benchmark/testa!

Nu kör vi en övning!

Streamingkoncept