Intro à la traitement par lots

Concepts de diffusion en continu

Mike Metzger

Data Engineer

Qu'est-ce que le traitement par lots ?

• Traitement des données par groupes
• S'exécute du début du processus à la fin
  • Aucune donnée ajoutée entre-temps
• Généralement lancé selon
  • un intervalle
  • un événement déclencheur
• Traité par taille donnée (taille de lot)
• Une exécution d'un traitement par lots est souvent appelée un travail

Scénarios courants de traitement par lots

• Lire des fichiers ou des parties de fichiers (texte, mp3, etc.)
• Envoyer / recevoir des courriels
• Imprimer

Pourquoi le traitement par lots ?

• Simple
• Généralement cohérent
• Plusieurs façons d'améliorer la performance

Passons à la pratique !

Concepts de diffusion en continu