Data Mesh y Data Fabric

Comprender la arquitectura de datos moderna

Miller Trujillo

Senior Software Engineer

Data Mesh

Enfoque arquitectónico para descentralizar la propiedad y gestión de datos
Propiedad y gestión:
- Responsabilidad total sobre los datos
- Garantizar calidad, seguridad y privacidad

Arquitectura de Data Mesh

Responsables por cada dataset
Exponer datos como productos
Infraestructura común compartida
Microservicios
Cambio de mentalidad

Arquitectura de Data Mesh vista desde 30.000 pies

¹ https://martinfowler.com/articles/data-monolith-to-mesh.html

¿Cómo procesar datos entonces?

Aspectos organizativos y culturales de la gestión de datos
Los productos de datos por dominio son de primera clase
Las herramientas son de segunda clase
Los data lakes y warehouses son nodos, detalles dentro del dominio

Beneficios y desafíos de Data Mesh

Beneficios:
- Democratización de datos
- Descentralización
- Propiedad clara
- Escalabilidad y agilidad
- Time to Market más rápido
- Flexibilidad en el stack tecnológico
- ...

Desafíos:
- Cambio cultural
- Gobierno de datos
- Colaboración y coordinación
- Complejidad técnica

Data Fabric

Vista unificada e integrada
Democratización de datos
Metadatos
- Grafo de conocimiento
- Algoritmos de IA/ML
- Metadatos activos
Integración inteligente
Mejor gestión y protección de datos

¹ https://www.gartner.com/smarterwithgartner/data-fabric-architecture-is-key-to-modernizing-data-management-and-integration ² https://www.ibm.com/topics/data-fabric

Un Data Fabric debería soportar...

ETL
Streaming
Replicación
Mensajería
Virtualización de datos
Microservicios de datos
...

¡Vamos a practicar!

Comprender la arquitectura de datos moderna