Mise à l'échelle du traitement par lots

Concepts de diffusion en continu

Mike Metzger

Data Engineer

Qu'est-ce que la mise à l'échelle ?

• Améliorer la performance
  • Traiter plus vite
    • Moins de temps pour le même volume de données
  • Traiter plus de données
    • Plus de données traitées dans le même temps

Mise à l'échelle verticale

• Meilleur matériel
  • Processeur plus rapide
  • Entrées/sorties plus rapides
  • Plus de mémoire
• Souvent la mise à l'échelle la plus simple
  • Moins de complexité
  • Exige rarement de changer les programmes ou algorithmes sous-jacents

¹ Images courtesy https://unsplash.com/@jeremy0

Inconvénients de la mise à l'échelle verticale

• Limitée par nature
• Peut être coûteuse / faible RSI
• Les progrès de l'industrie ne sont pas garantis

Mise à l'échelle horizontale

• Diviser une tâche en plusieurs parties
  • Plus d'ordinateurs
  • Ou plus de processeurs
• Idéal pour les tâches « hautement parallélisables »
  • Tâches faciles à répartir entre les travailleurs
• Peut être très rentable
• Peut offrir des gains quasi linéaires pour certains processus

Inconvénients de la mise à l'échelle horizontale

• Complexité
  • Nécessite un cadre de traitement (comme Apache Spark ou Dask)
  • Nécessite un réseau plus étendu
• Gestion continue
• Peut être coûteuse selon les besoins
• Tâches « non parallèles »

Passons à la pratique !

Concepts de diffusion en continu