Data Mesh et Data Fabric

Comprendre les architectures de données modernes

Miller Trujillo

Senior Software Engineer

Data Mesh

Approche architecturale pour décentraliser la propriété et la gestion des données
Propriété et gestion :
- Responsabilité complète des données
- Garantir qualité, sécurité et confidentialité

Architecture Data Mesh

Propriétaires pour chaque jeu de données
Exposer les données comme des produits
Partager une infrastructure commune
Microservices
Changement d’état d’esprit !

Architecture Data Mesh vue d'ensemble

¹ https://martinfowler.com/articles/data-monolith-to-mesh.html

Comment traiter les données ?

Aspects organisationnels et culturels de la gestion des données
Les produits de données par domaine sont prioritaires
Les outils sont secondaires
Lacs et entrepôts de données : simples nœuds, détails d’un domaine

Bénéfices et défis du Data Mesh

Bénéfices :
- Démocratisation des données
- Décentralisation
- Propriété claire
- Scalabilité et agilité
- Time to Market plus rapide
- Flexibilité de la pile technologique
- ...

Défis :
- Changement culturel
- Gouvernance des données
- Collaboration et coordination
- Complexité technique

Data Fabric

Vue unifiée et intégrée
Démocratisation des données
Métadonnées
- Graphe de connaissances
- Algorithmes IA/ML
- Métadonnées actives
Intégration intelligente
Meilleure gestion et protection des données

¹ https://www.gartner.com/smarterwithgartner/data-fabric-architecture-is-key-to-modernizing-data-management-and-integration ² https://www.ibm.com/topics/data-fabric

Une Data Fabric doit prendre en charge...

ETL
Streaming
Réplication
Messagerie
Virtualisation des données
Microservices de données
...

Passons à la pratique !

Comprendre les architectures de données modernes