Problemy z przetwarzaniem wsadowym
Koncepcje strumieniowania danych
Mike Metzger
Data Engineer
Opóźnienia
- Czas do gotowości danych do przetworzenia
- Czy wszystkie dane są dostępne?
- Czas do rozpoczęcia procesu
- Kiedy zaczyna się następny interwał?
- Czas przetwarzania danych
- Jak długo trwa ukończenie?
- Czas do udostępnienia przetworzonych danych
- Kiedy użytkownicy mogą korzystać z danych?
Przykład #1
Oczekiwanie na dane źródłowe
- Maszyny wysyłają pliki dzienników przy niskim wykorzystaniu
- Działa poprawnie przy normalnym wykorzystaniu
- Wysokie wykorzystanie ogranicza możliwość wysyłania dzienników, co może ukrywać problemy.
Przykład #2
Oczekiwanie na zakończenie procesu
- Pliki dzienników: 100 GB dziennie
- Przetwarzanie zajmuje 23 godz.
- Około 4,4 GB/godz.
- Wzrost o 5% miesięcznie
- W kolejnym miesiącu: 105 GB, czas: ~24 godz.
- W następnym miesiącu: ~110 GB, czas: ~25 godz.
- Przetwarzanie jednego dnia danych trwa dłużej niż jeden dzień!
Przykład #3
Oczekiwanie na dostępność danych
- Kiedy analizy będą dostępne?
- Raport sprzedaży musi czekać na wszystkie dane
- Suma opóźnień to minimalny czas generowania raportu
- Czas zbierania / przygotowania danych: 1 dzień
- Czas przetwarzania danych: 7 godz.
- Czas aktualizacji systemów: 5 godz.
- Czas generowania raportu: 2 min
- Łączny czas na raport: 1,5 dnia
Czas na ćwiczenia!
Koncepcje strumieniowania danych
