Dávkové vs. streamované zpracování

Koncepty streamingu

Mike Metzger

Data Engineer

Rychlé opakování

  • Dávkové procesy zpracovávají data ve skupinách, neboli dávkách
  • Nejdůležitější parametry dávkového zpracování jsou velikost a frekvence dávky
  • Fronty ukládají / zpracovávají data v pořadí vložení
  • Fronty jsou dávky s velikostí dávky jedna!
  • Streamy zpracovávají data bez přerušení
  • Streamy nemají definovaný konec
  • Streamy zachovávají pořadí!
Koncepty streamingu

Oheň!

  • Řetěz s vědry
    • Velikost dávky (jak velký je kbelík)
    • Frekvence dávky (jak rychle předávat kbelík)

Řetěz s vědry

  • Hasičská hadice
    • Nepřetržitý tok dat
    • Není jasné, kolik vody

Hasičská hadice

1 Albert B. Kinne, Public domain, via Wikimedia Commons 2 Commander, U.S. Naval Forces Europe-Africa/U.S. 6th Fleet, Public domain, via Wikimedia Commons
Koncepty streamingu

Jak zvolit nejlepší přístup?

  • Závisí na požadavcích
  • Pokud lze zpracovávat ve skupinách, je dávkování díky jednoduchosti často nejlepší volbou
  • Pokud je nutné pořadí, ale přerušení je přijatelné, použijte frontu
  • Pokud je potřeba nepřetržitý tok dat nebo není znám jejich objem, použijte streaming
  • Pokud nelze přerušit zpracování dat, použijte streaming
Koncepty streamingu

Pojďme si procvičit!

Koncepty streamingu

Preparing Video For Download...