Data Mesh e Data Fabric

Entendendo a Arquitetura de Dados Moderna

Miller Trujillo

Senior Software Engineer

Data Mesh

Abordagem arquitetural para descentralizar posse e gestão de dados
Propriedade e gestão:
- Responsabilidade total pelos dados
- Garantir qualidade, segurança e privacidade

Arquitetura de Data Mesh

Donos para cada dataset
Expor dados como produtos
Infraestrutura comum compartilhada
Microsserviços
Mudança de mindset!

Arquitetura de data mesh vista de longe

¹ https://martinfowler.com/articles/data-monolith-to-mesh.html

Como processar dados então?

Aspectos organizacionais e culturais da gestão de dados
Produtos de dados por domínio são prioridade
Ferramentas ficam em segundo plano
Data lakes e warehouses são só nós, detalhes do domínio

Benefícios e desafios do Data Mesh

Benefícios:
- Democratização de dados
- Descentralização
- Propriedade clara
- Escalabilidade e agilidade
- Time to Market mais rápido
- Flexibilidade no stack tecnológico
- ...

Desafios:
- Mudança cultural
- Governança de dados
- Colaboração e coordenação
- Complexidade técnica

Data Fabric

Visão unificada e integrada
Democratização de dados
Metadados
- Grafo de conhecimento
- Algoritmos de IA/ML
- Metadados ativos
Integração inteligente
Melhor gestão e proteção de dados

¹ https://www.gartner.com/smarterwithgartner/data-fabric-architecture-is-key-to-modernizing-data-management-and-integration ² https://www.ibm.com/topics/data-fabric

Um Data Fabric deve suportar...

ETL
Streaming
Replicação
Mensageria
Virtualização de dados
Microsserviços de dados
...

Vamos praticar!

Entendendo a Arquitetura de Dados Moderna