Vertikální škálování streamovacích systémů

Koncepty streamingu

Mike Metzger

Data Engineer

Proč škálovat?

• Zpracovat stejná data za kratší čas
• Zpracovat více dat za stejný čas
• Doručovat data rychleji (snížit latenci)
• Plnit záruky (SLA)

Vertikální škálování

• Zlepšení schopností jednoho systému
• Rychlejší / lepší komponenty
  • CPU, RAM, disk, síť
• Vše může ovlivnit výkon streamování

Vyšší výkon CPU / GPU

• Rychlejší zpracování
• Lepší zpracování
  • Nové / vylepšené sady instrukcí
• Zpracování pomocí GPU
  • Strojové učení
  • Hluboké učení
  • Zpracování obrazu
  • Maticové operace

Jak to ovlivňuje streamování?

• Streamovací procesy neustávají, dokud nejsou dokončeny
• Různé položky mohou být v různých částech pipeline, ale celková kapacita zpracování je omezena výkonem systému
• Určité komponenty mají větší vliv než jiné v závislosti na zátěži
• Provádějte benchmarky a testování!

Pojďme si procvičit!

Koncepty streamingu