Introductie tot batchverwerking

Streaming-concepten

Mike Metzger

Data Engineer

Wat is batchverwerking?

• Gegevens verwerken in groepen
• Draait van begin tot einde
  • Geen data toegevoegd tussendoor
• Meestal gestart door
  • een interval
  • een startgebeurtenis
• Verwerkt met een bepaalde grootte (batchgrootte)
• Een uitvoering van een batchproces heet vaak een job

Veelvoorkomende batchscenario’s

• Lezen van bestanden of delen (tekst, mp3, enz.)
• Verzenden / ontvangen van e-mail
• Afdrukken

Waarom batch?

• Eenvoudig
• Over het algemeen consistent
• Meerdere manieren om performance te verbeteren

Laten we oefenen!

Streaming-concepten