Wachtrijen

Streaming-concepten

Mike Metzger

Data Engineer

Wat is een wachtrij?

• In feite een rij
• Handig om in volgorde te verwerken
• First-in, first-out (FIFO)
• Ook wel een buffer genoemd
• Details verschillen sterk per implementatie

¹ Foto door Joshua Tsu op Unsplash

Waarom wachtrijen?

• Wachtrijen laten je de verwerkingsvolgorde bijhouden
• Te verwerken door één of meerdere personen/programma’s
• Kan losgekoppeld zijn van de rest van de pijplijn
• Redelijk makkelijk te schalen verticaal of horizontaal
  • Verticaal schalen: snellere hardware toevoegen
  • Horizontaal schalen: meer executors toevoegen

Problemen met wachtrijen

• Slechte data of verwerkingsfouten
  • Klant betaalt met ongeldige creditcard
• Variaties in datagrootte
  • Snelle kassa met 100 artikelen
• Soms lastig om de lengte van de wachtrij te weten
  • Eerste voorvertoning van een film
• Schaal-limieten
  • Geen ruimte voor extra kassa’s

Laten we oefenen!

Streaming-concepten