Mise à l'échelle horizontale des systèmes en continu

Concepts de diffusion en continu

Mike Metzger

Data Engineer

Rappel : mise à l'échelle horizontale

• Au lieu d'augmenter « vers le haut », élargir « vers l'extérieur »
• Ajoute de la capacité en ajoutant des unités, pas en les rendant plus rapides/meilleures
• Idéal pour les cas hautement parallélisables
  • Tâches faciles à répartir
  • P. ex. traiter un grand lot d'images indépendantes

Mise à l'échelle horizontale en continu

• Le traitement en continu vise des délais minimaux
• Le transfert de données entre travailleurs peut devenir délicat
• Mieux vaut traiter tout le flux dans un seul pipeline
• Créer des copies de ce pipeline

Copies de pipelines

• À mesure que les événements surviennent, ils entrent d'abord dans un pipeline
• Toutes les tâches liées sont autonomes dans le pipeline jusqu'à la fin
• Élargir en ajoutant des pipelines
• On peut encore monter en puissance à l'intérieur d'un pipeline

Autres considérations

• Autres composants parfois requis
• Équilibreur/directeur de charge
  • Donneur de cartes
  • Nœud le moins occupé
• Des goulets d'étranglement finiront par survenir
  • Performance d'écriture disque
• Envisager de raccourcir le pipeline en continu
  • Éviter de devoir traiter les données immédiatement

Passons à la pratique !

Concepts de diffusion en continu