Avaliando soluções modernas de arquitetura de dados

Entendendo a Arquitetura de Dados Moderna

Miller Trujillo

Senior Software Engineer

Ingestão

Solução proposta com ingestão destacada

  • Padrões imprevisíveis
  • E se puxarmos os dados?
    • Expor os arquivos
    • Sistema de arquivos em rede
Entendendo a Arquitetura de Dados Moderna

Armazenamento

Solução proposta com armazenamento destacado

  • Cloud Storage é:

    • mais barato que data warehouse ou bancos
    • Flexível e expõe as APIs necessárias

  • BigQuery ainda é opção?

    • Barato o suficiente
    • Inviável por limitações de carga

  • Políticas de ciclo de vida para reduzir ainda mais os custos

Entendendo a Arquitetura de Dados Moderna

Processamento

Solução proposta com processamento em streaming destacado

  • Dataflow, Dataproc (Spark) ou até Data Fusion
  • Chegada imprevisível
  • Processar assim que chegar
  • Simplicidade
  • Dados temporais
  • Automatizar limpeza com políticas de ciclo de vida
  • Sem manutenção de esquema
Entendendo a Arquitetura de Dados Moderna

Processamento: pontuação do modelo

Solução proposta com processamento em lote destacado

  • Difícil rastrear tudo
  • Mais fácil de manter
  • Job anterior escreve no NoSQL e este complementa os dados
Entendendo a Arquitetura de Dados Moderna

Servindo os dados

Solução proposta com processamento em lote destacado

  • BigQuery para análise
  • NoSQL => escalabilidade e flexibilidade fáceis
Entendendo a Arquitetura de Dados Moderna

Outros detalhes

  • Governança, orquestração, segurança, etc.
  • Refinar mais a plataforma e requisitos
  • Habilitar melhor gestão
  • Não existe solução única!

Tudo envolve trade-offs

Entendendo a Arquitetura de Dados Moderna

Vamos praticar!

Entendendo a Arquitetura de Dados Moderna

Preparing Video For Download...