Škálování dávkového zpracování

Koncepty streamingu

Mike Metzger

Data Engineer

Co je škálování?

• Zlepšení výkonu
  • Rychlejší zpracování
    • Stejné množství dat zpracováno za kratší dobu
  • Zpracování většího množství dat
    • Více dat zpracováno za stejnou dobu

Vertikální škálování

• Lepší hardware
  • Rychlejší CPU
  • Rychlejší IO
  • Více paměti
• Obvykle nejjednodušší druh škálování
  • Nejnižší složitost
  • Jen zřídka vyžaduje změnu programů či algoritmů

¹ Images courtesy https://unsplash.com/@jeremy0

Nevýhody vertikálního škálování

• Ze své podstaty omezené
• Může být nákladné / nízká návratnost
• Zlepšení v oboru nejsou zaručena

Horizontální škálování

• Rozdělení úlohy na více částí
  • Více počítačů
  • Případně více procesorů
• Nejlépe funguje u "embarassingly parallel" úloh
  • Úlohy, které lze snadno rozdělit mezi pracovní uzly
• Může být velmi nákladově efektivní
• U určitých procesů umožňuje téměř lineární zlepšení výkonu

Nevýhody horizontálního škálování

• Složitost
  • Vyžaduje framework pro zpracování (např. Apache Spark nebo Dask)
  • Vyžaduje rozsáhlejší síťovou infrastrukturu
• Průběžná správa
• Může být nákladné v závislosti na požadavcích
• "Neparalelní" úlohy

Pojďme si procvičit!

Koncepty streamingu