Data Mesh e Data Fabric
Comprendere la data architecture moderna
Miller Trujillo
Senior Software Engineer
Data Mesh
Approccio architetturale per decentralizzare proprietà e gestione dei dati
Proprietà e gestione:
Responsabilità completa sui dati
Garantire qualità, sicurezza e privacy
Architettura Data Mesh
Owner per ogni dataset
Esporre i dati come prodotti
Infrastruttura comune condivisa
Microservizi
Cambio di mentalità!
1
https://martinfowler.com/articles/data-monolith-to-mesh.html
Come processare i dati?
Aspetti organizzativi e culturali della gestione dei dati
I data product di dominio sono cittadini di prima classe
Gli strumenti sono di seconda classe
Data lake e warehouse sono solo nodi, dettagli del dominio
Vantaggi e sfide del Data Mesh
Vantaggi
:
Democratizzazione dei dati
Decentralizzazione
Ownership chiara
Scalabilità e agilità
Time to Market più rapido
Flessibilità nello stack tecnologico
...
Sfide
:
Cambio culturale
Data governance
Collaborazione e coordinamento
Complessità tecnica
Data Fabric
Vista unificata e integrata
Democratizzazione dei dati
Metadati
Knowledge graph
Algoritmi AI/ML
Metadati attivi
Integrazione intelligente
Migliore gestione e protezione dei dati
1
https://www.gartner.com/smarterwithgartner/data-fabric-architecture-is-key-to-modernizing-data-management-and-integration
2
https://www.ibm.com/topics/data-fabric
Un Data Fabric dovrebbe supportare...
ETL
Streaming
Replicazione
Messaggistica
Virtualizzazione dei dati
Microservizi dati
...
Passiamo alla pratica !
Comprendere la data architecture moderna
Preparing Video For Download...