Disponibilização de dados

Entendendo a Arquitetura de Dados Moderna

Miller Trujillo

Senior Software Engineer

Camada de serving

• Onde armazenar os dados processados
• Protocolos para consumi-los

Que dados temos?

• Que dados temos?
  • São estruturados?
  • São séries temporais?
• Como serão consumidos?

• Data Warehouse
  • Relatórios/Dashboards automáticos
  • BI/Análise de dados
  • Consultas diretas
• Armazenamento de blobs
• Banco de séries temporais
• Banco NoSQL

Como os dados serão consumidos?

• Data warehouse
  • Relatórios/Dashboards automáticos
  • BI/Análise de dados
  • Consultas diretas
• Modelos de machine learning
• Aplicações
  • Informações sumarizadas
  • Registros individuais
• Não existe solução única!

Sirva seus dados conforme o caso de uso

Sistema	Tipo de dado	Caso de consumo	Ferramentas
Data warehouse	Dados estruturados; pode lidar com semiestrut.	Consultas analíticas, BI/Analytics, relatórios/dashboards	BigQuery, Redshift, Snowflake
Blob storage	Todos os tipos	Modelos de ML com vídeo/imagem, arquivamento	S3, Cloud Storage, Azure Storage
Banco NoSQL	Semiestruturados, séries temporais	Exposição via API, alta demanda	BigTable, DataStore, DynamoDB, CosmosDB
RDBMS	Dados estruturados; pode lidar com semiestrut.	Consumo de registros individuais, exposição via API, menor demanda	Postgres, MySQL, Oracle

Servir vs. Consumir

Vamos praticar!

Entendendo a Arquitetura de Dados Moderna