Traitement par lots vs. flux

Concepts de streaming

Mike Metzger

Data Engineer

Révision éclair

Les traitements par lots gèrent les données par groupes
Les paramètres clés sont la taille du lot et sa fréquence
Les files d'attente stockent/traitent les données dans l'ordre d'insertion
Les files d'attente sont des lots de taille un !
Les flux traitent les données sans pause en cours de route
Les flux n'ont pas de fin définie
Les flux préservent l'ordre !

Au feu !

Chaîne de seaux
- Taille du lot (taille du seau)
- Fréquence du lot (vitesse de passage du seau)

Chaîne de seaux

Lance à incendie
- Débit de données continu
- Quantité d'eau incertaine

Lance à incendie

¹ Albert B. Kinne, domaine public, via Wikimedia Commons ² Commander, U.S. Naval Forces Europe-Africa/U.S. 6th Fleet, domaine public, via Wikimedia Commons

Comment choisir la meilleure approche ?

Cela dépend des exigences
Si l'on peut traiter par groupes, le batch est souvent préférable pour sa simplicité
Si l'on a besoin de l'ordre, mais que les pauses sont acceptables, utilisez une file d'attente
Si l'on a besoin de données continues, ou si la quantité est inconnue, essayez le streaming
Si l'on ne peut pas s'arrêter avant la fin du traitement, utilisez le streaming

Passons à la pratique !

Concepts de streaming