Skalowanie wertykalne systemów strumieniowych

Koncepcje strumieniowania danych

Mike Metzger

Data Engineer

Dlaczego skalować?

• Przetwarzanie tych samych danych w krótszym czasie
• Przetwarzanie większej ilości danych w tym samym czasie
• Dostarczanie danych szybciej (redukcja opóźnień)
• Spełnianie gwarancji (SLA)

Skalowanie wertykalne

• Zwiększenie możliwości pojedynczego systemu
• Szybsze / lepsze komponenty
  • CPU, RAM, dysk, sieć
• Wszystkie wpływają na wydajność strumieniowania

Wyższa wydajność CPU / GPU

• Szybsze wykonanie
• Lepsze wykonanie
  • Nowe / ulepszone zestawy instrukcji
• Przetwarzanie na GPU
  • Uczenie maszynowe
  • Głębokie uczenie
  • Przetwarzanie obrazów
  • Operacje macierzowe

Jak to wpływa na strumieniowanie?

• Procesy strumieniowe nie kończą się przed ukończeniem
• Różne elementy mogą znajdować się w różnych częściach potoku, ale łączna przepustowość jest ograniczona przez wydajność systemu
• Niektóre komponenty mają większy wpływ niż inne, w zależności od obciążenia
• Wykonuj testy wydajnościowe!

Czas na ćwiczenia!

Koncepcje strumieniowania danych