Data Mesh en Data Fabric

Inzicht in moderne data-architectuur

Miller Trujillo

Senior Software Engineer

Data Mesh

Architectuurbenadering om eigenaarschap en beheer van data te decentraliseren
Eigenaarschap en beheer:
- Volledige verantwoordelijkheid voor de data
- Borg kwaliteit, veiligheid en privacy

Data Mesh-architectuur

Eigenaren voor elke gegevensset
Bied data aan als producten
Deel een gemeenschappelijke infrastructuur
Microservices
Mindsetshift!

Data-mesharchitectuur vanuit 30.000 voet

¹ https://martinfowler.com/articles/data-monolith-to-mesh.html

Hoe verwerk je data dan?

Organisatorische en culturele kanten van databeheer
Domeindataproducten zijn first-class citizens
Tools zijn second-class citizens
Datalakes en -warehouses zijn slechts knooppunten, details binnen een domein

Voordelen en uitdagingen van Data Mesh

Voordelen:
- Data-democratisering
- Decentralisatie
- Duidelijk eigenaarschap
- Schaalbaarheid en wendbaarheid
- Sneller naar de markt
- Flexibiliteit in technologiestack
- ...

Uitdagingen:
- Cultuurverandering
- Data governance
- Samenwerking en coördinatie
- Technische complexiteit

Data Fabric

Uniform en geïntegreerd beeld
Democratisering van data
Metadata
- Kennisgrafiek
- AI/ML-algoritmen
- Actieve metadata
Intelligente integratie
Beter databeheer en -bescherming

¹ https://www.gartner.com/smarterwithgartner/data-fabric-architecture-is-key-to-modernizing-data-management-and-integration ² https://www.ibm.com/topics/data-fabric

Een Data Fabric moet ondersteunen...

ETL
Streaming
Replicatie
Messaging
Datavirtualisatie
Datamicroservices
...

Laten we oefenen!

Inzicht in moderne data-architectuur