Data Mesh und Data Fabric

Moderne Datenarchitekturen verstehen

Miller Trujillo

Senior Software Engineer

Data Mesh

Architekturansatz zur Dezentralisierung von Dateneigentum und -verwaltung
Eigentum und Verwaltung:
- Volle Verantwortung für die Daten
- Qualität, Sicherheit und Datenschutz sicherstellen

Data-Mesh-Architektur

Verantwortliche für jedes Dataset
Daten als Produkte bereitstellen
Gemeinsame Infrastruktur
Microservices
Haltungswechsel!

Data-Mesh-Architektur aus 30.000 Fuß Höhe

¹ https://martinfowler.com/articles/data-monolith-to-mesh.html

Wie werden Daten dann verarbeitet?

Organisationale und kulturelle Aspekte des Datenmanagements
Domänen-Datenprodukte als First-Class Citizens
Tools sind zweitrangig
Data Lakes und Warehouses sind nur Knoten, Details innerhalb einer Domäne

Data Mesh: Vorteile und Herausforderungen

Vorteile:
- Daten-Demokratisierung
- Dezentralisierung
- Klare Verantwortlichkeiten
- Skalierbarkeit und Agilität
- Schnellere Time-to-Market
- Flexible Tech-Stacks
- ...

Herausforderungen:
- Kultureller Wandel
- Data Governance
- Zusammenarbeit und Koordination
- Technische Komplexität

Data Fabric

Einheitliche, integrierte Sicht
Demokratisierung von Daten
Metadaten
- Knowledge Graph
- KI/ML-Algorithmen
- Aktive Metadaten
Intelligente Integration
Besseres Datenmanagement und -schutz

¹ https://www.gartner.com/smarterwithgartner/data-fabric-architecture-is-key-to-modernizing-data-management-and-integration ² https://www.ibm.com/topics/data-fabric

Eine Data Fabric sollte unterstützen …

ETL
Streaming
Replikation
Messaging
Datenvirtualisierung
Daten-Microservices
...

Lass uns üben!

Moderne Datenarchitekturen verstehen