Diffusion de données sur un seul système

Concepts de streaming

Mike Metzger

Data Engineer

Introduction au streaming

Qu'est-ce que le streaming ?

Les données ne s'arrêtent pas avant d'être traitées
- Après un premier traitement, d'autres composants peuvent intervenir
Est ouvert (pas d'événement final défini)
Est défini par le flux de données, pas par le contenu

Journaux

Stocke les informations d'événements
Peut être un simple fichier texte ou binaire
Ou un système exportant vers plusieurs clients (p. ex. Apache Kafka)
Conserve les infos jusqu'à épuisement des ressources / purge
Le rôle du journal dépend de l'application

210507-162356 - SUCCESS: Open vvlj45.txt
210507-162254 - ERROR: Open hjry57.txt failed
210507-161523 - SUCCESS: Open kbhn78.txt
210507-161235 - ERROR: Open ldge12.txt failed
210507-160127 - WARNING: keop98.txt exists
210507-155958 - SUCCESS: Open hqaz64.txt
210507-155439 - SUCCESS: Open neuf36.txt
210507-152335 - SUCCESS: Open mqpa91.txt
210507-144756 - ERROR: Open pqzi32.txt failed
210507-143541 - SUCCESS: Open urmn15.txt
210507-143152 - SUCCESS: Open fgty82.txt
210507-141732 - SUCCESS: Open mlwe96.txt

Journal des événements système

Présents sur Windows, Mac, Linux
Traitent et stockent diverses informations d'événements système
Windows EventLog, Mac / Linux syslog

Composants :

Écouteur : accepte les messages
Analyseur : sait lire les messages
Logique : décide quoi faire
Rédacteur : stocke les messages pour plus tard

Passons à la pratique !

Concepts de streaming