Mise à l'échelle verticale des systèmes de streaming

Concepts de streaming

Mike Metzger

Data Engineer

Pourquoi mettre à l'échelle ?

• Traiter les mêmes données en moins de temps
• Traiter plus de données dans le même temps
• Livrer plus vite les données (réduire la latence)
• Respecter les garanties (SLA)

Mise à l'échelle verticale

• Améliorer les capacités d'un seul système
• Composants plus rapides / meilleurs
  • CPU, RAM, disque, réseau
• Tout peut influencer les performances en streaming

CPU / GPU plus rapides

• Exécution plus rapide
• Exécution meilleure
  • Jeux d'instructions nouveaux / améliorés
• Traitement GPU
  • Machine Learning
  • Apprentissage profond
  • Traitement d'images
  • Opérations matricielles

Quel impact sur le streaming ?

• Les processus de streaming ne s'arrêtent qu'une fois terminés
• Des éléments peuvent être à différents stades du pipeline, mais la capacité totale est limitée par les performances du système
• Certains composants ont plus d'impact que d'autres, selon la charge
• Établissez des benchmarks / testez !

Passons à la pratique !

Concepts de streaming