Exemplos de arquitetura de dados moderna

Entendendo a Arquitetura de Dados Moderna

Miller Trujillo

Senior Software Engineer

Arquitetura Lambda

• Arquitetura de processamento de dados
• Permite processar conjuntos de dados em grande escala
• Permite processamento em tempo real
• Combina batch e streaming
• 3 camadas principais:
  • Camada batch
  • Camada de velocidade
  • Camada de serviço

Camadas da Lambda: Batch

• Conjunto de dados mestre
  • Dados imutáveis
  • Apenas append
• Visões pré-computadas
• Contas bancárias
  • Conjunto mestre: lista de transações
  • Visões: transações aplicadas para obter o saldo
• Precisão perfeita

Camadas da Lambda: Velocidade

• Jobs batch em um agendamento
• Lacuna entre dados conhecidos e realidade
• A camada de velocidade fecha essa lacuna
• Precisão não perfeita

Camadas da Lambda: Serviço

• Une visões batch e em tempo real
• Visão unificada dos dados

Complexidade da Lambda

• Duas camadas aumentam a complexidade
• Lógica, código e algoritmos duplicados
• Múltiplos stacks: batch e streaming

Arquitetura Kappa

Lambda vs. Kappa

Aspecto	Arquitetura Lambda	Arquitetura Kappa
Processamento batch	Presente	Reprocessa a fonte de eventos
Processamento em fluxo	Presente	Presente
Complexidade	Maior	Menor
Tempo real	Atrasado pela camada batch	Direto e enxuto
Casos de uso	Análises complexas, dados históricos	Analytics em tempo real, monitoramento em tempo real

Vamos praticar!

Entendendo a Arquitetura de Dados Moderna