Streaming-systemen horizontaal schalen

Streaming-concepten

Mike Metzger

Data Engineer

Opfrisser: horizontaal schalen

• In plaats van "op" schalen, schakel je "uit"
• Meestal: meer verwerkers toevoegen, niet snellere/betere
• Werkt het best bij embarrassingly parallel taken
  • Taken die je makkelijk kunt opsplitsen
  • Bijv. een grote set onafhankelijke afbeeldingen verwerken

Horizontaal schalen met streaming

• Streamverwerking heeft doorgaans minimale vertraging
• Dat maakt datatransfer tussen workers lastig
• Verwerk een volledige stream idealiter in één pipeline
• Maak kopieën van die pipelines

Pipeline-kopieën

• Als events binnenkomen, gaan ze eerst een pipeline in
• Alle taken daarvoor zijn zelfstandig binnen die pipeline tot afronding
• Schaal door meer pipelines toe te voegen
• Je kunt binnen een pipeline ook verticaal schalen

Aanvullende aandachtspunten

• Andere componenten kunnen nodig zijn
• Load balancer / director
  • Kaartdeler
  • Minst drukke node
• Uiteindelijk krijg je knelpunten
  • Schrijfsnelheid van schijf
• Overweeg de streaming-pipeline te verkorten
  • Haal de noodzaak weg om direct te verwerken

Laten we oefenen!

Streaming-concepten