Verticaal schalen van streamingsystemen

Streaming-concepten

Mike Metzger

Data Engineer

Waarom schalen?

• Verwerk dezelfde data in minder tijd
• Verwerk meer data in dezelfde tijd
• Lever data sneller (lagere latency)
• Voldoe aan garanties (SLA’s)

Verticaal schalen

• Verbeter de capaciteiten van één systeem
• Snellere / betere componenten
  • CPU, RAM, schijf, netwerk
• Alles beïnvloedt streamingprestaties

Snellere CPU-/GPU-prestaties

• Snellere uitvoering
• Betere uitvoering
  • Nieuwe/verbeterde instructiesets
• GPU-processing
  • Machine learning
  • Deep learning
  • Beeldverwerking
  • Matrixbewerkingen

Wat betekent dit voor streaming?

• Streamingprocessen stoppen niet tot ze klaar zijn
• Items kunnen in verschillende delen van de pipeline zitten, maar de totale capaciteit wordt beperkt door systeemprestaties
• Sommige componenten hebben meer impact dan andere, afhankelijk van de workload
• Benchmark/test!

Laten we oefenen!

Streaming-concepten