Kolejkowanie

Koncepcje strumieniowania danych

Mike Metzger

Data Engineer

Czym jest kolejkowanie?

• To po prostu kolejka
• Przydatna do przetwarzania w kolejności
• Pierwszy wchodzi, pierwszy wychodzi (FIFO)
• Czasem nazywana buforem
• Szczegóły zależą od implementacji

¹ Photo by Joshua Tsu on Unsplash

Dlaczego kolejki?

• Kolejki umożliwiają śledzenie kolejności przetwarzania
• Mogą być obsługiwane przez jedną lub wiele osób/programów
• Mogą być odłączone od reszty potoku przetwarzania
• Stosunkowo łatwe do skalowania pionowego i poziomego
  • Skalowanie pionowe – szybszy sprzęt
  • Skalowanie poziome – więcej executorów

Problemy z kolejkami

• Błędne dane lub błędy przetwarzania
  • Klient płaci nieprawidłową kartą kredytową
• Zróżnicowanie rozmiarów danych
  • Szybka kasa w supermarkecie z 100 artykułami
• Trudność w określeniu długości kolejki
  • Pierwsza projekcja nowego filmu
• Limity skalowania
  • Brak miejsca na kolejne kasy

Czas na ćwiczenia!

Koncepcje strumieniowania danych