Köhantering

Streamingkoncept

Mike Metzger

Data Engineer

Vad är en kö?

• I grunden en kö
• Användbar för att bearbeta i ordning
• Först in, först ut (FIFO)
• Kallas ibland buffer
• Detaljerna varierar mycket beroende på implementation

¹ Foto av Joshua Tsu på Unsplash

Varför köer?

• Köer möjliggör spårning av bearbetningsordning
• Kan bearbetas av en eller flera personer/program
• Kan vara frikopplad från resten av bearbetningspipelinen
• Relativt enkel att skala vertikalt eller horisontellt
  • Vertikal skalning genom snabbare hårdvara
  • Horisontell skalning genom fler exekutorer

Problem med köer

• Felaktig data eller bearbetningsfel
  • Kund betalar med ogiltigt kreditkort
• Variationer i datastorlek
  • Snabbkassa på stormarknad med 100 varor
• Ibland svårt att känna till köns längd
  • Premiärvisning av en film
• Skalningsgränser
  • Inte plats för fler kassor

Nu kör vi en övning!

Streamingkoncept