Przeszkody w streamingu
Koncepcje strumieniowania danych
Mike Metzger
Data Engineer
Przegląd skalowania
Skalowanie pionowe – zasoby obliczeniowe
- CPU
- RAM
- Dysk (pojemność i I/O)
- Sieć
Skalowanie poziome – więcej węzłów
- Dodawanie maszyn jako węzłów / pracowników
Pierwsze obawy
- Zasoby obliczeniowe
- Brak odpowiednich lub wolne zasoby
- Więcej węzłów
- Wymaga większej łączności
- Pewna forma współdzielonych zasobów
- Większa złożoność
- Zazwyczaj jakaś forma zarządzania klastrem
Problemy z komunikacją
Typy problemów z komunikatami:
- Wiadomości brakujące
- Wiadomości opóźnione
- Wiadomości nie w kolejności
- Wiadomości zduplikowane
Brakujące wiadomości
- Reprezentują zdarzenia, które nigdy nie pojawiają się
- Mogą być trudne do wykrycia
- Czasem obsługiwane za pomocą identyfikatora sekwencji
- Żądanie brakujących wiadomości może opóźnić dalsze odpowiedzi
Opóźnione wiadomości
- Podobne do brakujących wiadomości
- Mogą powodować problemy w potoku przetwarzania z powodu opóźnień
- Często związane z problemami z zasobami systemowymi
Wiadomości nie w kolejności
- Połączenie brakujących i opóźnionych wiadomości
- Powstaje, gdy starsza wiadomość pojawia się po nowszych
- Wymaga pewnej miary kolejności lub stanu do wykrycia
- Obsługa tych problemów zależy od typu procesu przetwarzania danych
Zduplikowane wiadomości
- Występuje, gdy ta sama wiadomość jest wysyłana wielokrotnie lub ponownie z powodu problemów systemowych
- Wymaga obsługi kolejności, by całkowicie uniknąć, lecz może być bezpiecznie ignorowane
- Czasem nie stanowi problemu (np. pomiar temperatury)
Czas na ćwiczenia!
Koncepcje strumieniowania danych
