Horisontell skalning av strömmande system

Streamingkoncept

Mike Metzger

Data Engineer

Horisontell skalning – en repetition

• Istället för att skala "upp", skala "ut"
• Innebär vanligtvis ökad processkapacitet genom att lägga till fler, snarare än snabbare / bättre enheter
• Fungerar bäst i trivialt parallella situationer
  • Uppgifter som enkelt kan delas upp
  • T.ex. bearbetning av en stor mängd oberoende bilder

Horisontell skalning med strömning

• Bearbetning av strömmande data har vanligtvis minimal fördröjning
• Kan göra dataöverföring mellan arbetsnoder komplicerad
• Bäst att bearbeta en hel ström inom en enda pipeline
• Skapa kopior av pipelinerna

Pipeline-kopior

• När händelser inträffar går de in i en pipeline
• Alla relaterade uppgifter är självständiga inom pipelinen tills de är klara
• Skala genom att lägga till fler pipelines
• Kan fortfarande vertikalt skala inom en pipeline

Ytterligare överväganden

• Andra komponenter kan behövas
• Lastbalanserare / dirigent
  • Kortgivare
  • Minst belastad nod
• Kan till slut stöta på flaskhalsar
  • Diskskrivningsprestanda
• Överväg att förkorta strömningspipelinen
  • Minskar behovet av att omedelbart bearbeta data

Nu kör vi en övning!

Streamingkoncept