Úvod do dávkového zpracování

Koncepty streamingu

Mike Metzger

Data Engineer

Co je dávkové zpracování?

• Zpracování dat ve skupinách
• Spouští se od začátku procesu do konce
  • Žádná data se nepřidávají v průběhu
• Typicky spouštěno v důsledku
  • intervalu
  • spouštěcí události
• Zpracováváno v určité velikosti (velikost dávky)
• Instance dávkového procesu se často označuje jako úloha

Typické scénáře dávkového zpracování

• Čtení souborů nebo jejich částí (text, mp3 atd.)
• Odesílání / přijímání e-mailů
• Tisk

Proč dávkové zpracování?

• Jednoduché
• Obecně konzistentní
• Více způsobů, jak zlepšit výkon

Pojďme si procvičit!

Koncepty streamingu