Freins au streaming
Concepts de streaming
Mike Metzger
Data Engineer
Récap sur l'évolutivité
Mise à l'échelle verticale – ressources de calcul
- CPU
- RAM
- Disque (capacité et E/S)
- Réseau
Mise à l'échelle horizontale – plus de nœuds
- Ajouter des machines comme nœuds/travailleurs
Premières préoccupations
- Ressources de calcul
- Ressources insuffisantes ou lentes
- Plus de nœuds
- Nécessite plus de connectivité
- Une forme de ressources partagées
- Complexité accrue
- Souvent un gestionnaire de cluster
Problèmes de communication
Types de problèmes de messagerie :
- Messages manquants
- Messages retardés
- Messages hors ordre
- Messages dupliqués
Messages manquants
- Représentent des événements qui n'apparaissent jamais
- Peuvent être difficiles à détecter
- Parfois traités avec un identifiant de séquence
- Demander les messages manquants peut retarder d'autres réponses
Messages retardés
- Similaires aux messages manquants
- Peuvent perturber le pipeline de traitement à cause des retards
- Souvent liés à des problèmes de ressources système
Messages hors ordre
- Combinaison de messages manquants/retardés
- Survient quand un ancien message arrive après des plus récents
- Nécessite une mesure de séquence ou d'état pour détecter
- La gestion dépend du type de traitement exécuté
Messages dupliqués
- Se produit quand le même message est envoyé plusieurs fois ou renvoyé suite à des problèmes systèmes
- Nécessite une gestion de séquence pour l'éviter totalement, mais peut être ignoré sans risque
- Parfois sans impact (ex. une mesure de température)
Passons à la pratique !
Concepts de streaming
