File d'attente

Concepts de streaming

Mike Metzger

Data Engineer

Qu'est-ce qu'une file d'attente ?

• En gros, une file
• Utile pour traiter dans l'ordre
• Premier entré, premier sorti (FIFO)
• Parfois appelée tampon
• Les détails varient beaucoup selon l'implémentation

¹ Photo de Joshua Tsu sur Unsplash

Pourquoi des files ?

• Les files permettent le suivi de l'ordre de traitement
• Peuvent être traitées par une ou plusieurs personnes/programmes
• Peuvent être découplées du reste du pipeline de traitement
• Assez faciles à dimensionner verticalement ou horizontalement
  • Scalabilité verticale : ajouter du matériel plus rapide
  • Scalabilité horizontale : ajouter plus d'exécuteurs

Problèmes des files d'attente

• Données invalides ou erreurs de traitement
  • Client paie avec une carte bancaire invalide
• Variations de taille des données
  • File « rapide » au supermarché avec 100 articles
• Parfois difficile de connaître la longueur de la file
  • Première avant-première d'un film
• Limites de scalabilité
  • Pas assez d'espace pour plus de caisses

Passons à la pratique !

Concepts de streaming