Problémy s dávkovým zpracováním
Koncepty streamingu
Mike Metzger
Data Engineer
Zpoždění
- Čas, než jsou data připravena ke zpracování
- Jsou všechna data dostupná?
- Čas, než proces začne
- Kdy začne další interval?
- Čas zpracování dat
- Jak dlouho trvá dokončení?
- Čas, než jsou zpracovaná data dostupná k použití
- Jak dlouho, než je mohou uživatelé použít?
Příklad č. 1
Čekání na zdrojová data
- Stroje odesílají soubory protokolů při nízké využitosti
- Funguje dobře při normální využitosti
- Vysoká využitost by omezila schopnost odesílat protokoly a mohla skrývat problémy.
Příklad č. 2
Čekání na proces
- Soubory protokolů 100 GB za den
- Zpracování aktuálně trvá 23 hod.
- Přibližně 4,4 GB/hod.
- Roste o 5 % měsíčně
- Příští měsíc 105 GB a ~24 hod.
- Následující měsíc ~110 GB a ~25 hod.
- Zpracování jednoho dne dat trvá déle než jeden den!
Příklad č. 3
Čekání na dostupnost dat
- Jak dlouho, než budou analytiky dostupné?
- Prodejní zpráva musí čekat na všechny informace
- Součet zpoždění je minimální čas pro vygenerování nové zprávy
- Čas sběru / přípravy dat: 1 den
- Čas zpracování dat: 7 hod.
- Čas aktualizace systémů: 5 hod.
- Čas generování zprávy: 2 min.
- Celkový čas na každou zprávu: 1,5 dne
Pojďme si procvičit!
Koncepty streamingu
