Streamování dat v jednom systému
Koncepty streamingu
Mike Metzger
Data Engineer
Úvod do streamování
Co je streamování?
- Data nepřestávají proudit, dokud nejsou zpracována
- Po prvním zpracování mohou následovat další komponenty
- Je otevřené (bez konkrétní koncové události)
- Je definováno tokem dat, nikoli obsahem
Logy
- Ukládá informace o událostech
- Může jít o jednoduchý textový nebo binární soubor
- Nebo systém pro export dat více klientům (např. Apache Kafka)
- Ukládá informace dokud nedojdou prostředky nebo nejsou vymazány
- Účel logu závisí na aplikaci
210507-162356 - SUCCESS: Open vvlj45.txt
210507-162254 - ERROR: Open hjry57.txt failed
210507-161523 - SUCCESS: Open kbhn78.txt
210507-161235 - ERROR: Open ldge12.txt failed
210507-160127 - WARNING: keop98.txt exists
210507-155958 - SUCCESS: Open hqaz64.txt
210507-155439 - SUCCESS: Open neuf36.txt
210507-152335 - SUCCESS: Open mqpa91.txt
210507-144756 - ERROR: Open pqzi32.txt failed
210507-143541 - SUCCESS: Open urmn15.txt
210507-143152 - SUCCESS: Open fgty82.txt
210507-141732 - SUCCESS: Open mlwe96.txt
Systémový protokol událostí
- Dostupné ve Windows, Mac, Linux
- Zpracovává a ukládá různé informace o systémových událostech
- Windows EventLog, Mac / Linux syslog
Komponenty:
- Listener: Přijímá zprávy
- Parser: Umí zprávy číst
- Logic: Rozhoduje, co provést
- Writer: Ukládá zprávy pro pozdější použití
Pojďme si procvičit!
Koncepty streamingu
