Introduction au traitement par lots

Concepts de streaming

Mike Metzger

Data Engineer

Qu'est-ce que le traitement par lots ?

• Traitement des données par groupes
• S'exécute du début à la fin
  • Aucune donnée ajoutée entre-temps
• Généralement déclenché par
  • un intervalle
  • un événement de démarrage
• Traité par taille définie (taille de lot)
• Une exécution de traitement par lots est souvent appelée un job

Scénarios courants de traitement par lots

• Lecture de fichiers ou de parties de fichiers (texte, mp3, etc.)
• Envoi / réception d'e-mails
• Impression

Pourquoi le traitement par lots ?

• Simple
• Généralement cohérent
• Plusieurs façons d'améliorer les performances

Passons à la pratique !

Concepts de streaming