Introdução ao processamento em lote

Conceitos de Streaming

Mike Metzger

Data Engineer

O que é processamento em lote?

• Processar dados em grupos
• Executa do início ao fim
  • Sem dados adicionados no meio
• Normalmente executado por
  • um intervalo
  • um evento de início
• Processado em um tamanho definido (batch size)
• Uma instância do processo em lote é chamada de job

Cenários comuns de processamento em lote

• Ler arquivos ou partes de arquivos (texto, mp3, etc.)
• Enviar / receber e-mail
• Impressão

Por que usar lote?

• Simples
• Geralmente consistente
• Várias formas de melhorar o desempenho

Vamos praticar!

Conceitos de Streaming