Processamento de dados

Entendendo a Arquitetura de Dados Moderna

Miller Trujillo

Senior Software Engineer

O que é processamento de dados?

• Exploração
• Qualidade dos dados: verificações e transformações
• Análise
• Agregações
• Transformações

Processamento em lote

• Lote e streaming
• Quantidade fixa de dados

Processamento em streaming

Janela de tempo fixa

Janela de tempo deslizante

¹ https://beam.apache.org/documentation/programming-guide/#windowing

Conceitos de streaming

• Quando os dados foram gerados
• Quando os dados chegaram
• Watermarks
• Dados atrasados
• Disparar novo processamento

Tecnologias de processamento

Caso de uso	Solução	Solução em nuvem
Lote/streaming, big data, cluster	Apache Spark, Flink, Beam	AWS EMR, AWS Glue, Google Dataproc, Google Dataflow
Lote/streaming, big data, serverless (servidores totalmente gerenciados pelo provedor)	Apache Spark, Beam	AWS Glue, Google Dataflow
Eventos individuais, processamento simples, suporte 24/7 sem servidores ativos	Linguagens gerais: Python, Javascript, C#, Java, Go	AWS Lambda, Google Cloud Functions

Vamos praticar!

Entendendo a Arquitetura de Dados Moderna