Překážky ve streamování

Koncepty streamingu

Mike Metzger

Data Engineer

Přehled škálování

Vertikální škálování – výpočetní prostředky

• CPU
• RAM
• Disk (kapacita a IO)
• Síť

Horizontální škálování – více uzlů

• Přidání strojů jako uzlů / pracovníků

Hlavní obavy

• Výpočetní prostředky
  • Nedostatek nebo pomalé prostředky
• Více uzlů
  • Vyžaduje větší konektivitu
  • Určitá forma sdílených prostředků
  • Větší složitost
  • Obvykle správa clusteru

Problémy s komunikací

Typy problémů se zprávami:

• Chybějící zprávy
• Zpožděné zprávy
• Zprávy mimo pořadí
• Opakované zprávy

Chybějící zprávy

• Představují události, které se nikdy neobjeví
• Mohou být obtížně detekovatelné
• Někdy řešeny pomocí sekvenčního identifikátoru
• Vyžádání chybějících zpráv může zpozdit další odpovědi

Zpožděné zprávy

• Podobné jako chybějící zprávy
• Mohou způsobit problémy v pipeline kvůli zpožděním
• Často souvisí s problémy se systémovými prostředky

Zprávy mimo pořadí

• Kombinace chybějících / zpožděných zpráv
• Nastane, když se starší zpráva objeví po novějších
• Vyžaduje určitý sekvenční mechanismus nebo stav k detekci
• Řešení závisí na typu datového zpracování

Opakované zprávy

• Nastane, když je stejná zpráva odeslána vícekrát nebo znovu kvůli chybám systému
• Úplnému zamezení je potřeba sekvenční zpracování, ale lze to ignorovat
• Někdy to není problém (např. měření teploty)

Pojďme si procvičit!

Koncepty streamingu