Data Mesh en Data Fabric

Moderne data-architectuur begrijpen

Miller Trujillo

Senior Software Engineer

Data Mesh

Architecturale aanpak om eigenaarschap en beheer van data te decentraliseren
Eigenaarschap en beheer:
- Volledige verantwoordelijkheid voor de data
- Kwaliteit, security en privacy borgen

Data Mesh-architectuur

Een owner per dataset
Bied data aan als producten
Gedeelde infrastructuur
Microservices
Mindsetshift!

Data-mesharchitectuur vanuit vogelperspectief

¹ https://martinfowler.com/articles/data-monolith-to-mesh.html

Hoe verwerk je data dan?

Organisatorische en culturele kanten van databeheer
Domeindataproducten zijn first-class citizens
Tools zijn second-class citizens
Data lakes en warehouses zijn slechts knooppunten binnen een domein

Data Mesh: voordelen en uitdagingen

Voordelen:
- Data-democratisering
- Decentralisatie
- Duidelijk eigenaarschap
- Schaalbaar en wendbaar
- Snellere time-to-market
- Flexibele tech stack
- ...

Uitdagingen:
- Culturele verandering
- Data governance
- Samenwerking en afstemming
- Technische complexiteit

Data Fabric

Uniform en geïntegreerd beeld
Data-democratisering
Metadata
- Kennisgrafiek
- AI/ML-algoritmen
- Actieve metadata
Intelligente integratie
Betere databeheer en -bescherming

¹ https://www.gartner.com/smarterwithgartner/data-fabric-architecture-is-key-to-modernizing-data-management-and-integration ² https://www.ibm.com/topics/data-fabric

Een Data Fabric ondersteunt...

ETL
Streaming
Replicatie
Messaging
Datavirtualisatie
Data-microservices
...

Laten we oefenen!

Moderne data-architectuur begrijpen