Dataströmning i ett enda system
Streamingkoncept
Mike Metzger
Data Engineer
Introduktion till strömning
Vad är strömning?
- Data slutar inte förrän det bearbetas
- Efter initial bearbetning kan andra databearbetningskomponenter tillkomma
- Är öppen (inget specifikt slutevent)
- Definieras av dataflödet, inte innehållet
Loggar
- Lagrar händelseinformation
- Kan vara en enkel text- eller binärfil
- Eller ett system för att exportera information till flera klienter (t.ex. Apache Kafka)
- Lagrar information tills resurser tar slut eller rensas
- Loggens syfte beror på applikationen
210507-162356 - SUCCESS: Open vvlj45.txt
210507-162254 - ERROR: Open hjry57.txt failed
210507-161523 - SUCCESS: Open kbhn78.txt
210507-161235 - ERROR: Open ldge12.txt failed
210507-160127 - WARNING: keop98.txt exists
210507-155958 - SUCCESS: Open hqaz64.txt
210507-155439 - SUCCESS: Open neuf36.txt
210507-152335 - SUCCESS: Open mqpa91.txt
210507-144756 - ERROR: Open pqzi32.txt failed
210507-143541 - SUCCESS: Open urmn15.txt
210507-143152 - SUCCESS: Open fgty82.txt
210507-141732 - SUCCESS: Open mlwe96.txt
Systemhändelselogg
- Finns på Windows, Mac, Linux
- Bearbetar och lagrar olika systemhändelseinformation
- Windows EventLog, Mac/Linux syslog
Komponenter:
- Lyssnare: Tar emot meddelanden
- Parser: Förstår hur meddelanden läses
- Logik: Avgör vad som ska göras
- Skrivare: Lagrar meddelanden för senare
Nu kör vi en övning!
Streamingkoncept
