Batchbearbetning vs. strömning

Streamingkoncept

Mike Metzger

Data Engineer

Snabb repetition

  • Batchprocesser hanterar data i grupper, eller batchar
  • Viktigast för batchbearbetning är batchstorlek och batchfrekvens
  • Köer lagrar/bearbetar data i insättningsordning
  • Köer är batchar med batchstorleken ett!
  • Strömmar hanterar data utan avbrott
  • Strömmar har inget definierat slut
  • Strömmar bevarar ordningen!
Streamingkoncept

Brand!

  • Hinkstafett
    • Batchstorlek (hur stor är hinken)
    • Batchfrekvens (hur snabbt hinken skickas vidare)

Hinkstafett

  • Brandslang
    • Kontinuerligt dataflöde
    • Okänt hur mycket vatten

Brandslang

1 Albert B. Kinne, Public domain, via Wikimedia Commons 2 Commander, U.S. Naval Forces Europe-Africa/U.S. 6th Fleet, Public domain, via Wikimedia Commons
Streamingkoncept

Hur väljer man rätt metod?

  • Beror på kraven
  • Kan vi bearbeta i grupper är batchbearbetning ofta bäst tack vare sin enkelhet
  • Behöver vi ordning men kan pausa, använd en kö
  • Behöver vi kontinuerlig data eller vet inte mängden, använd strömning
  • Kan vi inte stoppa förrän datan är bearbetad, använd strömning
Streamingkoncept

Nu kör vi en övning!

Streamingkoncept

Preparing Video For Download...