Horizontální škálování streamovacích systémů

Koncepty streamingu

Mike Metzger

Data Engineer

Opakování: horizontální škálování

• Místo škálování „nahoru" škálujte „do šířky"
• Typicky znamená přidání výpočetního výkonu přidáním dalších uzlů, nikoli rychlejších
• Nejlépe funguje v embarassingly parallel situacích
  • Úlohy, které lze snadno rozdělit
  • Např. zpracování velkého počtu nezávislých obrázků

Horizontální škálování u streamování

• Zpracování streamovaných dat má typicky minimální zpoždění
• Přenos dat mezi pracovními uzly může být komplikovaný
• Nejlepší je zpracovat celý stream v rámci jednoho pipeline
• Vytvořte kopie pipeline

Kopie pipeline

• Při vzniku události nejprve vstoupí do pipeline
• Všechny související úlohy jsou obsaženy v rámci pipeline až do dokončení
• Škálujte přidáváním dalších pipeline
• V rámci pipeline je stále možné vertikální škálování

Další aspekty

• Mohou být potřeba další komponenty
• Nástroj pro vyrovnávání / směrování zátěže
  • Rozdělování karet
  • Nejméně vytížený uzel
• Postupně dochází k úzkým místům
  • Výkon zápisu na disk
• Zvažte zkrácení streamovacího pipeline
  • Odpadá nutnost okamžitého zpracování dat

Pojďme si procvičit!

Koncepty streamingu