Data Mesh et Data Fabric

Comprendre l'architecture de données moderne

Miller Trujillo

Senior Software Engineer

Data Mesh

Approche d'architecture pour décentraliser la propriété et la gestion des données
Propriété et gestion :
- Responsabilité complète des données
- Assurer qualité, sécurité et confidentialité

Architecture Data Mesh

Responsables pour chaque ensemble de données
Exposer les données comme des produits
Partager une infrastructure commune
Microservices
Changement d'état d'esprit !

Architecture Data Mesh vue d'ensemble à 30 000 pieds

¹ https://martinfowler.com/articles/data-monolith-to-mesh.html

Alors, comment traiter les données ?

Aspects organisationnels et culturels de la gestion des données
Les produits de données par domaine sont au premier plan
Les outils passent au second plan
Lacs et entrepôts de données : de simples nœuds, des détails d'un domaine

Avantages et défis du Data Mesh

Avantages :
- Démocratisation des données
- Décentralisation
- Propriété claire
- Scalabilité et agilité
- Mise en marché plus rapide
- Souplesse de la pile technologique
- ...

Défis :
- Changement culturel
- Gouvernance des données
- Collaboration et coordination
- Complexité technique

Data Fabric

Vue unifiée et intégrée
Démocratisation des données
Métadonnées
- Graphe de connaissances
- Algorithmes d'IA/ML
- Métadonnées actives
Intégration intelligente
Meilleure gestion et protection des données

¹ https://www.gartner.com/smarterwithgartner/data-fabric-architecture-is-key-to-modernizing-data-management-and-integration ² https://www.ibm.com/topics/data-fabric

Un Data Fabric devrait prendre en charge...

ETL
Diffusion en continu
Réplication
Messagerie
Virtualisation des données
Microservices de données
...

Passons à la pratique !

Comprendre l'architecture de données moderne