Diffusion de données sur un seul système

Concepts de diffusion en continu

Mike Metzger

Data Engineer

Intro à la diffusion

Qu'est-ce que la diffusion ?

Les données ne s'arrêtent pas avant d'être traitées
- Après un premier traitement, d'autres composants peuvent intervenir
Est sans fin définie (pas d'événement de fin précis)
Est définie par le flux de données, pas par le contenu

Journaux

Stocker des informations d'événements
Peut être un simple fichier texte ou binaire
Ou un système pour exporter l'information vers plusieurs clients (p. ex., Apache Kafka)
Conserve l'information jusqu'à l'épuisement des ressources / l'élagage
Le but du journal dépend de l'application

210507-162356 - SUCCESS: Open vvlj45.txt
210507-162254 - ERROR: Open hjry57.txt failed
210507-161523 - SUCCESS: Open kbhn78.txt
210507-161235 - ERROR: Open ldge12.txt failed
210507-160127 - WARNING: keop98.txt exists
210507-155958 - SUCCESS: Open hqaz64.txt
210507-155439 - SUCCESS: Open neuf36.txt
210507-152335 - SUCCESS: Open mqpa91.txt
210507-144756 - ERROR: Open pqzi32.txt failed
210507-143541 - SUCCESS: Open urmn15.txt
210507-143152 - SUCCESS: Open fgty82.txt
210507-141732 - SUCCESS: Open mlwe96.txt

Journal des événements système

Présents sur Windows, Mac, Linux
Traitent et stockent diverses informations d'événements système
Windows EventLog, Mac / Linux syslog

Composants :

Écouteur : reçoit les messages
Analyseur : sait lire les messages
Logique : décide quoi faire
Rédacteur : stocke les messages pour plus tard

Passons à la pratique !

Concepts de diffusion en continu