Obstáculos no streaming
Conceitos de Streaming
Mike Metzger
Data Engineer
Revisão de escalonamento
Escalonamento vertical - recursos de computação
- CPU
- RAM
- Disco (capacidade e IO)
- Rede
Escalonamento horizontal - mais nós
- Adicionar máquinas como nós/trabalhadores
Preocupações iniciais
- Recursos de computação
- Falta de recursos adequados ou lentos
- Mais nós
- Exige mais conectividade
- Alguma forma de recursos compartilhados
- Complexidade adicional
- Geralmente requer gerenciamento de cluster
Problemas de comunicação
Tipos de problemas de mensagens:
- Mensagens ausentes
- Mensagens atrasadas
- Mensagens fora de ordem
- Mensagens repetidas
Mensagens ausentes
- Representam eventos que nunca aparecem
- Podem ser difíceis de detectar
- Às vezes tratadas com um identificador de sequência
- Solicitar as mensagens ausentes pode atrasar novas respostas
Mensagens atrasadas
- Semelhantes às mensagens ausentes
- Podem causar problemas no pipeline de processamento devido a atrasos
- Geralmente ligadas a problemas de recursos do sistema
Mensagens fora de ordem
- Combinação de mensagens ausentes/atrasadas
- Ocorre quando uma mensagem antiga chega depois de mais novas
- Requer alguma medida de sequência ou estado para detectar
- O tratamento depende do tipo de processo de dados em execução
Mensagens repetidas
- Ocorre quando a mesma mensagem é enviada várias vezes ou reenviada por problemas de sistema
- Exige tratamento de sequência para evitar totalmente, mas pode ser seguro ignorar
- Às vezes não é um problema (pense em uma medição de temperatura)
Vamos praticar!
Conceitos de Streaming
