Streaming de date pe un singur sistem
Concepte de streaming
Mike Metzger
Data Engineer
Introducere în streaming
Ce este streaming-ul?
- Datele nu se opresc până nu sunt procesate
- După procesarea inițială, pot exista alte componente de procesare
- Este fără sfârșit definit (niciun eveniment final specific)
- Este definit de fluxul de date, nu de conținut
Jurnale
- Stochează informații despre evenimente
- Poate fi un simplu fișier text sau binar
- Sau un sistem pentru exportul informațiilor către mai mulți clienți (ex. Apache Kafka)
- Stochează informații până la epuizarea / ștergerea resurselor
- Scopul jurnalului depinde de aplicație
210507-162356 - SUCCESS: Open vvlj45.txt
210507-162254 - ERROR: Open hjry57.txt failed
210507-161523 - SUCCESS: Open kbhn78.txt
210507-161235 - ERROR: Open ldge12.txt failed
210507-160127 - WARNING: keop98.txt exists
210507-155958 - SUCCESS: Open hqaz64.txt
210507-155439 - SUCCESS: Open neuf36.txt
210507-152335 - SUCCESS: Open mqpa91.txt
210507-144756 - ERROR: Open pqzi32.txt failed
210507-143541 - SUCCESS: Open urmn15.txt
210507-143152 - SUCCESS: Open fgty82.txt
210507-141732 - SUCCESS: Open mlwe96.txt
Jurnal de evenimente de sistem
- Disponibil pe Windows, Mac, Linux
- Procesează și stochează diverse informații despre evenimente de sistem
- EventLog pe Windows, syslog pe Mac / Linux
Componente:
- Listener: Acceptă mesaje
- Parser: Înțelege cum să citească mesajele
- Logic: Decide ce acțiune să întreprindă
- Writer: Stochează mesajele pentru utilizare ulterioară
Să exersăm!
Concepte de streaming
