Projetando uma arquitetura de dados moderna

Entendendo a Arquitetura de Dados Moderna

Miller Trujillo

Senior Software Engineer

O caso de negócio

Laboratório médico

  • Robô organizador
  • Gera CSV
    • Até 4 CSV por hora
  • Bancos de dados em arquivos simples

Fluxo do caso de negócio

  • Plataforma para pacientes acompanharem resultados
  • Enriquecer resultados com suas investigações
Entendendo a Arquitetura de Dados Moderna

Por onde começar?

Perguntas!

Refina os requisitos!

  • Qual o tamanho dos arquivos?
  • Quantos robôs?
  • Com que frequência esses arquivos são gerados?
  • Quantos arquivos existem?
  • Como os dados serão processados? Machine learning? Consultas?
  • Como os dados serão expostos?
  • Quais regulações/limitações temos?
Entendendo a Arquitetura de Dados Moderna

As suposições

  • 100 máquinas
  • Cada arquivo CSV ~100 MB
  • Arquivos simples como banco de dados
  • Dezenas de GB por arquivo simples
  • Modelo exposto via API
    • Requer todos os resultados anteriores ou um resumo
    • O resumo precisa ser atualizado sempre
  • App móvel
  • Ignorar regulações
Entendendo a Arquitetura de Dados Moderna

A solução

Solução proposta

Entendendo a Arquitetura de Dados Moderna

Vamos praticar!

Entendendo a Arquitetura de Dados Moderna

Preparing Video For Download...