Traitement par lots ou en continu

Concepts de diffusion en continu

Mike Metzger

Data Engineer

Révision éclair

Les traitements par lots gèrent les données en groupes, ou lots
Les paramètres clés d'un traitement par lots : taille du lot et fréquence des lots
Les files d'attente stockent/traitent les données dans l'ordre d'insertion
Une file est un lot de taille un !
Les flux traitent les données sans pause en cours de route
Les flux n'ont pas de fin définie
Les flux préservent l'ordre !

Au feu !

Chaîne de seaux
- Taille du lot (grandeur du seau)
- Fréquence des lots (vitesse de passage du seau)

Chaîne de seaux

Bouche d'incendie
- Débit de données continu
- Quantité d'eau inconnue

Bouche d'incendie

¹ Albert B. Kinne, domaine public, via Wikimedia Commons ² Commander, U.S. Naval Forces Europe-Africa/U.S. 6th Fleet, domaine public, via Wikimedia Commons

Comment choisir la meilleure approche ?

Cela dépend des exigences
Si l'on peut traiter en groupes, le lot est souvent préférable pour sa simplicité
Si l'on a besoin de l'ordre, mais qu'une pause est acceptable, utilisez une file
Si l'on a besoin de données continues ou si la quantité est inconnue, privilégiez le flux
Si l'on ne peut pas arrêter avant la fin du traitement, utilisez le flux

Passons à la pratique !

Concepts de diffusion en continu