Scalarea verticală a sistemelor de streaming

Concepte de streaming

Mike Metzger

Data Engineer

De ce să scalați?

• Procesați aceleași date în mai puțin timp
• Procesați mai multe date în același timp
• Livrați date mai rapid (reduceți latența)
• Respectați garanțiile (SLA-uri)

Scalare verticală

• Îmbunătățiți capacitățile unui singur sistem
• Componente mai rapide / mai bune
  • CPU, RAM, Disk, Rețea
• Toate pot afecta performanța streaming-ului

Performanță CPU / GPU mai rapidă

• Execuție mai rapidă
• Execuție mai bună
  • Seturi de instrucțiuni noi / îmbunătățite
• Procesare GPU
  • Învățare automată
  • Învățare profundă
  • Procesarea imaginilor
  • Operații matriciale

Cum afectează aceasta streaming-ul?

• Procesele de streaming nu se opresc până la finalizare
• Diferite elemente pot fi în etape diferite ale pipeline-ului, dar capacitatea totală de procesare este limitată de performanța sistemului
• Anumite componente au un impact mai mare decât altele, în funcție de sarcină
• Testați / benchmarkați!

Să exersăm!

Concepte de streaming