Accodamento

Concetti di Streaming

Mike Metzger

Data Engineer

Cos’è l’accodamento?

• In pratica, una coda
• Utile per elaborare in ordine
• First-in, first-out (FIFO)
• A volte detta buffer
• I dettagli variano molto in base all’implementazione

¹ Foto di Joshua Tsu su Unsplash

Perché usare le code?

• Le code permettono di tracciare l’ordine di elaborazione
• Possono essere elaborate da uno o più persone/programmi
• Possono essere disaccoppiate dal resto della pipeline
• Facili da scalare verticalmente o orizzontalmente
  • Scalabilità verticale: hardware più veloce
  • Scalabilità orizzontale: più esecutori

Problemi delle code

• Dati errati o errori di elaborazione
  • Cliente paga con carta non valida
• Variazioni nella dimensione dei dati
  • Cassa veloce del supermercato con 100 articoli
• A volte è difficile conoscere la lunghezza della coda
  • Prima anteprima di un film
• Limiti di scalabilità
  • Spazio insufficiente per altre casse

Facciamo pratica!

Concetti di Streaming