Introduktion till batchbearbetning

Streamingkoncept

Mike Metzger

Data Engineer

Vad är batchbearbetning?

• Bearbetar data i grupper
• Körs från start till slut
  • Ingen data läggs till under körningen
• Startas vanligtvis av ett
  • intervall
  • utlösande händelse
• Bearbetas i en viss storlek (batchstorlek)
• En instans av en batchprocess kallas ofta för ett jobb

Vanliga användningsområden för batchbearbetning

• Läsa filer eller delar av filer (text, mp3 osv.)
• Skicka / ta emot e-post
• Skriva ut

Varför batch?

• Enkelt
• Generellt konsekvent
• Flera sätt att förbättra prestanda

Nu kör vi en övning!

Streamingkoncept