Problèmes des traitements par lots
Concepts de diffusion en continu
Mike Metzger
Data Engineer
Délais
- Délai avant que les données soient prêtes à traiter
- Toutes les données sont-elles disponibles ?
- Délai avant que le traitement commence
- Quand démarre le prochain intervalle ?
- Temps pour traiter les données
- Combien de temps jusqu'à la fin ?
- Délai avant que les données traitées soient prêtes à l'usage
- Quand les utilisateurs pourront-ils exploiter les données ?
Exemple no 1
En attente des données sources
- Machines envoyant les journaux lors de faible utilisation
- Fonctionne bien en utilisation normale
- Forte utilisation pourrait limiter l'envoi des journaux et masquer des problèmes.
Exemple no 2
En attente du traitement
- Fichiers journaux de 100 Go par jour
- Traitement actuel : 23 h
- Environ 4,4 Go/h
- Croît de 5 % par mois
- Le mois prochain : 105 Go et ~24 h
- Le suivant : ~110 Go et ~25 h
- Plus d'une journée pour traiter une journée de données !
Exemple no 3
En attente de la disponibilité des données
- Quand les analyses seront-elles disponibles ?
- Le rapport de ventes doit attendre que toute l'information soit générée
- La somme des délais est le temps minimal pour produire un nouveau rapport
- Temps pour collecter/préparer les données : 1 jour
- Temps pour traiter les données : 7 h
- Temps pour mettre à jour les systèmes : 5 h
- Temps pour générer le rapport : 2 min
- Temps total par rapport : 1,5 jour
Passons à la pratique !
Concepts de diffusion en continu
