Escalonando sistemas de streaming verticalmente

Conceitos de Streaming

Mike Metzger

Data Engineer

Por que escalar?

• Processar os mesmos dados em menos tempo
• Processar mais dados no mesmo tempo
• Entregar dados mais rápido (reduzir latência)
• Cumprir garantias (SLAs)

Escalonamento vertical

• Melhorar as capacidades de um único sistema
• Componentes mais rápidos / melhores
  • CPU, RAM, Disco, Rede
• Tudo pode afetar o desempenho em streaming

Desempenho mais rápido de CPU / GPU

• Execução mais rápida
• Execução melhor
  • Conjuntos de instruções novos / aprimorados
• Processamento em GPU
  • Machine learning
  • Deep learning
  • Processamento de imagem
  • Operações de matriz

Como isso afeta o streaming?

• Processos de streaming não param até concluir
• Itens podem estar em partes diferentes do pipeline, mas a capacidade total é limitada pelo desempenho do sistema
• Alguns componentes têm efeito maior que outros, conforme a carga
• Faça benchmark/testes!

Vamos praticar!

Conceitos de Streaming