Introducere în procesarea pe loturi

Concepte de streaming

Mike Metzger

Data Engineer

Ce este procesarea pe loturi?

• Procesarea datelor în grupuri
• Rulează de la început până la sfârșit
  • Fără date adăugate între timp
• De obicei declanșată de
  • un interval
  • un eveniment de pornire
• Procesată într-o anumită dimensiune (dimensiunea lotului)
• O instanță a unui proces pe loturi este adesea numită job

Scenarii comune de procesare pe loturi

• Citirea fișierelor sau a unor părți din fișiere (text, mp3 etc.)
• Trimiterea / primirea e-mailurilor
• Tipărirea

De ce procesare pe loturi?

• Simplă
• În general consistentă
• Mai multe modalități de îmbunătățire a performanței

Să exersăm!

Concepte de streaming