Data Mesh e Data Fabric

Comprendere la data architecture moderna

Miller Trujillo

Senior Software Engineer

Data Mesh

Approccio architetturale per decentralizzare proprietà e gestione dei dati
Proprietà e gestione:
- Responsabilità completa sui dati
- Garantire qualità, sicurezza e privacy

Architettura Data Mesh

Owner per ogni dataset
Esporre i dati come prodotti
Infrastruttura comune condivisa
Microservizi
Cambio di mentalità!

Architettura data mesh vista dall'alto

¹ https://martinfowler.com/articles/data-monolith-to-mesh.html

Come processare i dati?

Aspetti organizzativi e culturali della gestione dei dati
I data product di dominio sono cittadini di prima classe
Gli strumenti sono di seconda classe
Data lake e warehouse sono solo nodi, dettagli del dominio

Vantaggi e sfide del Data Mesh

Vantaggi:
- Democratizzazione dei dati
- Decentralizzazione
- Ownership chiara
- Scalabilità e agilità
- Time to Market più rapido
- Flessibilità nello stack tecnologico
- ...

Sfide:
- Cambio culturale
- Data governance
- Collaborazione e coordinamento
- Complessità tecnica

Data Fabric

Vista unificata e integrata
Democratizzazione dei dati
Metadati
- Knowledge graph
- Algoritmi AI/ML
- Metadati attivi
Integrazione intelligente
Migliore gestione e protezione dei dati

¹ https://www.gartner.com/smarterwithgartner/data-fabric-architecture-is-key-to-modernizing-data-management-and-integration ² https://www.ibm.com/topics/data-fabric

Un Data Fabric dovrebbe supportare...

ETL
Streaming
Replicazione
Messaggistica
Virtualizzazione dei dati
Microservizi dati
...

Passiamo alla pratica !

Comprendere la data architecture moderna