O que é Arquitetura de Dados Moderna?

Entendendo a Arquitetura de Dados Moderna

Miller Trujillo

Senior Software Engineer

O que vamos aprender?

Arquiteturas de dados modernas
Tipos de arquiteturas de dados
Componentes
- Da ingestão à entrega
- Governança de dados
- Orquestração
Projetar uma solução de dados moderna

Arquiteturas de dados modernas

Característica	Arquitetura de dados moderna	Arquitetura de dados tradicional
Volume e variedade	Volumes massivos e múltiplos formatos	Volumes menores de dados estruturados
Armazenamento	Data lakes, NoSQL, data warehouse	Bancos relacionais, data warehouse
Abordagem de processamento	Processamento em tempo real ou quase	Somente batch
Escalabilidade e flexibilidade	Soluções em nuvem	Investimentos em hardware
Democratização	Ferramentas de autoatendimento	Forte dependência do TI

Requisitos de arquiteturas modernas de dados

Flexibilidade e extensibilidade
Usa nuvem para escalar
Lida com volumes crescentes
Caminhos críticos de negócio
- Faturamento

Integra domínios distribuídos
Governança e segurança de dados

¹ https://www.ibm.com/resources/the-data-differentiator/data-architecture

Componentes

Fontes de dados
Ingestão de dados
Armazenamento de dados
Processamento de dados
Orquestração de dados
Governança e segurança de dados

Arquitetura genérica de big data incluindo fontes, armazenamento, processamento em batch e streaming, orquestração, e armazenamento/relatórios analíticos

¹ https://learn.microsoft.com/en-us/azure/architecture/guide/architecture-styles/big-data

Vamos praticar!

Entendendo a Arquitetura de Dados Moderna