Procesare în loturi vs. în flux

Concepte de streaming

Mike Metzger

Data Engineer

Recapitulare rapidă

Procesarea în loturi gestionează datele în grupuri
Detaliile cheie sunt dimensiunea și frecvența lotului
Cozile stochează/procesează datele în ordinea inserției
Cozile sunt loturi, cu dimensiunea de unu!
Fluxurile procesează datele fără întrerupere
Fluxurile nu au un sfârșit definit
Fluxurile mențin ordinea!

Foc!

Lanț de găleți
- Dimensiunea lotului (cât de mare e găleata)
- Frecvența lotului (cât de repede se pasează)

Lanț de găleți

Furtun de incendiu
- Volum continuu de date
- Cantitate necunoscută de apă

Furtun de incendiu

¹ Albert B. Kinne, domeniu public, via Wikimedia Commons ² Commander, U.S. Naval Forces Europe-Africa/U.S. 6th Fleet, domeniu public, via Wikimedia Commons

Cum se alege cea mai bună abordare?

Depinde de cerințe
Dacă se pot procesa date în grupuri, loturile sunt adesea optime datorită simplității
Dacă e nevoie de ordine, dar pauzele sunt acceptabile, folosiți o coadă
Dacă datele sunt continue sau volumul e necunoscut, folosiți fluxul
Dacă procesarea nu poate fi întreruptă, folosiți fluxul

Let's practice!

Concepte de streaming