Datastreaming op één systeem
Streaming-concepten
Mike Metzger
Data Engineer
Intro tot streaming
Wat is streaming?
- Data stopt niet tot die is verwerkt
- Na eerste verwerking kunnen er extra verwerkingsstappen zijn
- Is open‑ended (geen specifiek eindmoment)
- Wordt bepaald door de stroom van data, niet de inhoud
Logs
- Slaat gebeurtenisinfo op
- Kan een simpel tekst- of binair bestand zijn
- Of een systeem dat info naar meerdere clients exporteert (bv. Apache Kafka)
- Bewaart info tot resources op zijn / opgeschoond wordt
- Het doel van het log hangt af van de applicatie
210507-162356 - SUCCESS: Open vvlj45.txt
210507-162254 - ERROR: Open hjry57.txt failed
210507-161523 - SUCCESS: Open kbhn78.txt
210507-161235 - ERROR: Open ldge12.txt failed
210507-160127 - WARNING: keop98.txt exists
210507-155958 - SUCCESS: Open hqaz64.txt
210507-155439 - SUCCESS: Open neuf36.txt
210507-152335 - SUCCESS: Open mqpa91.txt
210507-144756 - ERROR: Open pqzi32.txt failed
210507-143541 - SUCCESS: Open urmn15.txt
210507-143152 - SUCCESS: Open fgty82.txt
210507-141732 - SUCCESS: Open mlwe96.txt
Systeemeventlog
- Aanwezig op Windows, Mac, Linux
- Verwerkt en bewaart diverse systeemevents
- Windows EventLog, Mac / Linux syslog
Componenten:
- Listener: accepteert berichten
- Parser: Weet hoe je berichten leest
- Logica: Bepaalt wat te doen
- Writer: Slaat berichten op voor later
Laten we oefenen!
Streaming-concepten
