Filas

Conceitos de Streaming

Mike Metzger

Data Engineer

O que é fila (queuing)?

• Basicamente, uma fila
• Útil para processar em ordem
• Primeiro a entrar, primeiro a sair (FIFO)
• Às vezes chamada de buffer
• Os detalhes variam muito por implementação

¹ Foto de Joshua Tsu no Unsplash

Por que usar filas?

• Filas permitem rastrear a ordem de processamento
• Podem ser processadas por uma pessoa/programa ou vários
• Podem ser desacopladas do restante do pipeline
• Fáceis de escalar vertical ou horizontalmente
  • Escala vertical adicionando hardware mais rápido
  • Escala horizontal adicionando mais executores

Problemas em filas

• Dados ruins ou erros de processamento
  • Cliente paga com cartão de crédito inválido
• Variações no tamanho dos dados
  • Caixa rápido do mercado com 100 itens
• Às vezes é difícil saber o tamanho da fila
  • Primeira pré-estreia de um filme
• Limites de escala
  • Sem espaço para mais caixas

Vamos praticar!

Conceitos de Streaming