Mise à l'échelle verticale des systèmes de diffusion en continu

Concepts de diffusion en continu

Mike Metzger

Data Engineer

Pourquoi mettre à l'échelle ?

• Traiter les mêmes données en moins de temps
• Traiter plus de données dans le même temps
• Livrer les données plus vite (réduire la latence)
• Respecter les engagements (SLA)

Mise à l'échelle verticale

• Améliorer les capacités d'un seul système
• Composants plus rapides / meilleurs
  • CPU, RAM, disque, réseau
• Tous influencent la performance en continu

CPU/GPU plus rapides

• Exécution plus rapide
• Exécution améliorée
  • Jeux d'instructions nouveaux/améliorés
• Traitement GPU
  • Machine Learning
  • Deep learning
  • Traitement d'images
  • Opérations matricielles

Quel effet sur la diffusion en continu ?

• Les traitements en continu ne s'arrêtent qu'une fois terminés
• Des éléments peuvent être à différents stades du pipeline, mais la capacité totale est limitée par la performance du système
• Certains composants pèsent plus que d'autres, selon la charge de travail
• Mesurez / testez !

Passons à la pratique !

Concepts de diffusion en continu