Problèmes du batch
Concepts de streaming
Mike Metzger
Data Engineer
Délais
- Délai avant que les données soient prêtes à traiter
- Toutes les données sont-elles disponibles ?
- Délai avant que le traitement commence
- Quand débute le prochain intervalle ?
- Temps pour traiter les données
- Combien de temps jusqu'à la fin ?
- Délai avant que les données traitées soient disponibles
- Combien de temps avant que les utilisateurs puissent les utiliser ?
Exemple n°1
Attente des données sources
- Machines envoyant des journaux en période de faible utilisation
- Fonctionne bien en utilisation normale
- Une forte utilisation peut limiter l'envoi des journaux et masquer des problèmes.
Exemple n°2
Attente du processus
- Fichiers journaux de 100 Go par jour
- Actuellement, 23 h pour traiter
- Environ 4,4 Go/h
- Croît de 5 % par mois
- Le mois suivant : 105 Go et ~24 h
- Le mois d'après : ~110 Go et ~25 h
- Plus d'une journée pour traiter une journée de données !
Exemple n°3
Attente que les données soient disponibles
- Dans combien de temps les analyses seront-elles disponibles ?
- Le rapport de ventes doit attendre que toutes les infos soient générées
- La somme des délais est le temps minimal pour un nouveau rapport
- Temps pour collecter / préparer les données : 1 jour
- Temps pour traiter les données : 7 h
- Temps pour mettre à jour les systèmes : 5 h
- Temps pour générer le rapport : 2 min
- Temps total par rapport : 1,5 jour
Passons à la pratique !
Concepts de streaming
