Streaming di dati su un singolo sistema
Concetti di Streaming
Mike Metzger
Data Engineer
Introduzione allo streaming
Cos’è lo streaming?
- I dati non si fermano finché non vengono elaborati
- Dopo l’elaborazione iniziale, possono passare ad altri componenti
- È aperto (nessun evento di fine specifico)
- È definito dal flusso dei dati, non dal contenuto
Log
- Memorizza informazioni sugli eventi
- Può essere un semplice file testo o binario
- O un sistema che esporta info a più client (es. Apache Kafka)
- Conserva informazioni finché le risorse non si esauriscono / si fa pruning
- Lo scopo del log dipende dall’ applicazione
210507-162356 - SUCCESS: Open vvlj45.txt
210507-162254 - ERROR: Open hjry57.txt failed
210507-161523 - SUCCESS: Open kbhn78.txt
210507-161235 - ERROR: Open ldge12.txt failed
210507-160127 - WARNING: keop98.txt exists
210507-155958 - SUCCESS: Open hqaz64.txt
210507-155439 - SUCCESS: Open neuf36.txt
210507-152335 - SUCCESS: Open mqpa91.txt
210507-144756 - ERROR: Open pqzi32.txt failed
210507-143541 - SUCCESS: Open urmn15.txt
210507-143152 - SUCCESS: Open fgty82.txt
210507-141732 - SUCCESS: Open mlwe96.txt
Log eventi di sistema
- Presenti su Windows, Mac, Linux
- Elaborano e archiviano vari eventi di sistema
- In Windows EventLog, in Mac/Linux syslog
Componenti:
- Listener: riceve i messaggi
- Parser: sa come leggere i messaggi
- Logica: decide cosa fare
- Writer: archivia i messaggi per dopo
Passiamo alla pratica !
Concetti di Streaming
