Data Mesh och Data Fabric

Förstå modern dataarkitektur

Miller Trujillo

Senior Software Engineer

Data Mesh

Arkitekturansats för att decentralisera dataägande och datahantering
Ägarskap och hantering:
- Fullt ansvar för data
- Säkerställer kvalitet, säkerhet och integritet

Data Mesh-arkitektur

Ägare för varje datamängd
Exponera data som produkter
Gemensam infrastruktur
Mikrotjänster
Nytt tankesätt!

Data mesh-arkitektur i fågelperspektiv

¹ https://martinfowler.com/articles/data-monolith-to-mesh.html

Hur bearbetar man data då?

Organisatoriska och kulturella aspekter av datahantering
Domändataprodukter är förstahandsborgare
Verktyg är andrahandsborgare
Datasjöar och datalager är bara noder – detaljer inom en domän

Data Mesh – fördelar och utmaningar

Fördelar:
- Datademokratisering
- Decentralisering
- Tydligt ägarskap
- Skalbarhet och rörlighet
- Snabbare time to market
- Flexibilitet i teknikstacken
- ...

Utmaningar:
- Kulturell förändring
- Datastyrning
- Samarbete och koordinering
- Teknisk komplexitet

Data Fabric

Enhetlig och integrerad vy
Demokratisering av data
Metadata
- Kunskapsgraf
- AI/ML-algoritmer
- Aktiv metadata
Intelligent integration
Bättre datahantering och dataskydd

¹ https://www.gartner.com/smarterwithgartner/data-fabric-architecture-is-key-to-modernizing-data-management-and-integration ² https://www.ibm.com/topics/data-fabric

En Data Fabric bör stödja...

ETL
Strömning
Replikering
Meddelandehantering
Datavirtualisering
Datamikrotjänster
...

Nu kör vi en övning!

Förstå modern dataarkitektur