Introduzione al batch processing

Concetti di Streaming

Mike Metzger

Data Engineer

Cos'è il batch processing?

• Elaborazione di dati in gruppi
• Esegue dall'inizio alla fine
  • Nessun dato aggiunto nel frattempo
• Di solito avviato da
  • un intervallo
  • un evento di avvio
• Processato con una certa dimensione (batch size)
• Un'istanza del processo batch è spesso un job

Scenari comuni di batch processing

• Lettura di file o parti di file (testo, mp3, ecc.)
• Invio / ricezione email
• Stampa

Perché il batch?

• Semplice
• Generalmente coerente
• Vari modi per migliorare le prestazioni

Passiamo alla pratica!

Concetti di Streaming