Przetwarzanie wsadowe a strumieniowe

Koncepcje strumieniowania danych

Mike Metzger

Data Engineer

Krótkie podsumowanie

Przetwarzanie wsadowe obsługuje dane w grupach, czyli partiach
Kluczowe parametry to rozmiar partii i częstotliwość jej przetwarzania
Kolejki przechowują i przetwarzają dane w kolejności wstawiania
Kolejki to partie o rozmiarze jeden!
Strumienie przetwarzają dane bez przerw
Strumienie nie mają zdefiniowanego końca
Strumienie zachowują kolejność!

Pożar!

Łańcuch z wiadrami
- Rozmiar partii (jak duże jest wiadro)
- Częstotliwość partii (jak szybko podawać wiadro)

Łańcuch z wiadrami

Wąż strażacki
- Ciągły przepływ danych
- Nieznana ilość wody

Wąż strażacki

¹ Albert B. Kinne, domena publiczna, via Wikimedia Commons ² Commander, U.S. Naval Forces Europe-Africa/U.S. 6th Fleet, domena publiczna, via Wikimedia Commons

Jak wybrać najlepsze podejście?

Zależy od wymagań
Jeśli możliwe jest przetwarzanie w grupach, przetwarzanie wsadowe jest zwykle najprostsze
Jeśli wymagana jest kolejność, ale przerwy są dopuszczalne, należy użyć kolejki
Jeśli dane są ciągłe lub ich ilość jest nieznana, należy użyć strumieniowania
Jeśli nie można przerywać przetwarzania, należy użyć strumieniowania

Czas na ćwiczenia!

Koncepcje strumieniowania danych