Strumieniowanie danych w jednym systemie
Koncepcje strumieniowania danych
Mike Metzger
Data Engineer
Wprowadzenie do strumieniowania
Czym jest strumieniowanie?
- Dane nie zatrzymują się do momentu przetworzenia
- Po wstępnym przetworzeniu mogą pojawić się kolejne komponenty
- Jest otwarte (brak określonego zdarzenia końcowego)
- Definiuje je przepływ danych, nie treść
Logi
- Przechowuje informacje o zdarzeniach
- Może to być prosty plik tekstowy lub binarny
- Lub system eksportujący dane do wielu klientów (np. Apache Kafka)
- Przechowuje dane do wyczerpania zasobów lub ich usunięcia
- Cel logu zależy od aplikacji
210507-162356 - SUCCESS: Open vvlj45.txt
210507-162254 - ERROR: Open hjry57.txt failed
210507-161523 - SUCCESS: Open kbhn78.txt
210507-161235 - ERROR: Open ldge12.txt failed
210507-160127 - WARNING: keop98.txt exists
210507-155958 - SUCCESS: Open hqaz64.txt
210507-155439 - SUCCESS: Open neuf36.txt
210507-152335 - SUCCESS: Open mqpa91.txt
210507-144756 - ERROR: Open pqzi32.txt failed
210507-143541 - SUCCESS: Open urmn15.txt
210507-143152 - SUCCESS: Open fgty82.txt
210507-141732 - SUCCESS: Open mlwe96.txt
Systemowy dziennik zdarzeń
- Dostępny w systemach Windows, Mac, Linux
- Przetwarza i przechowuje różne informacje o zdarzeniach systemowych
- Windows EventLog, Mac/Linux syslog
Komponenty:
- Listener: Przyjmuje wiadomości
- Parser: Odczytuje wiadomości
- Logika: Decyduje, co zrobić
- Writer: Zapisuje wiadomości do późniejszego użycia
Czas na ćwiczenia!
Koncepcje strumieniowania danych
