Batchen vs. streamen

Streaming-concepten

Mike Metzger

Data Engineer

Korte herhaling

  • Batchprocessen verwerken data in groepen (batches)
  • Belangrijkste voor batchverwerking: batchgrootte en batchfrequentie
  • Wachtrijen slaan op / verwerken data in volgorde van invoer
  • Wachtrijen zijn batches, met batchgrootte één!
  • Streams verwerken data zonder te pauzeren onderweg
  • Streams hebben geen gedefinieerd einde
  • Streams behouden volgorde!
Streaming-concepten

Brand!

  • Ketting van emmers
    • Batchgrootte (hoe groot is de emmer)
    • Batchfrequentie (hoe snel geef je de emmer door)

Ketting van emmers

  • Brandweerslang
    • Continue datastroom
    • Onzeker hoeveel water

Brandweerslang

1 Albert B. Kinne, Public domain, via Wikimedia Commons 2 Commander, U.S. Naval Forces Europe-Africa/U.S. 6th Fleet, Public domain, via Wikimedia Commons
Streaming-concepten

Hoe kies je de beste aanpak?

  • Hangt af van de eisen
  • Kunnen we in groepen verwerken? Batchen is vaak het simpelst
  • Heb je volgorde nodig, en mag je pauzeren? Gebruik een wachtrij
  • Heb je continue data nodig, of onbekende hoeveelheid? Kies streaming
  • Kun je niet stoppen tot alles verwerkt is? Gebruik streaming
Streaming-concepten

Laten we oefenen!

Streaming-concepten

Preparing Video For Download...