Mise à l'échelle horizontale des systèmes de streaming

Concepts de streaming

Mike Metzger

Data Engineer

Rappel : mise à l'échelle horizontale

• Au lieu de monter en puissance, passez à l'horizontale
• Ajoute généralement de la capacité en ajoutant plus d'unités, pas en les rendant plus rapides / meilleures
• Idéal pour les situations hautement parallélisables
  • Tâches faciles à découper
  • P. ex. traiter un grand lot d'images indépendantes

Mise à l'échelle horizontale avec le streaming

• Le streaming implique en général des délais minimes
• Le transfert de données entre workers peut devenir délicat
• Mieux vaut traiter un flux entier dans un pipeline unique
• Créez des copies de ce pipeline

Copies de pipeline

• À l'arrivée des événements, ils entrent d'abord dans un pipeline
• Toutes les tâches liées sont autonomes dans ce pipeline jusqu'à la fin
• Mettez à l'échelle en ajoutant d'autres pipelines
• Vous pouvez encore monter en puissance au sein d'un pipeline

Points complémentaires

• D'autres composants peuvent être nécessaires
• Équilibreur / répartiteur de charge
  • Donneur de cartes
  • Nœud le moins chargé
• Des goulets d'étranglement finissent par apparaître
  • Performances d'écriture disque
• Envisagez de raccourcir le pipeline de streaming
  • Supprimez la nécessité de traiter les données immédiatement

Passons à la pratique !

Concepts de streaming