Data Mesh și Data Fabric

Înțelegerea arhitecturii moderne a datelor

Miller Trujillo

Senior Software Engineer

Data Mesh

Abordare arhitecturală pentru descentralizarea deținerii și gestionării datelor
Deținere și gestionare:
- Responsabilitate deplină pentru date
- Asigurarea calității, securității și confidențialității

Arhitectura Data Mesh

Proprietari pentru fiecare set de date
Expunerea datelor ca produse
Infrastructură comună partajată
Microservicii
Schimbare de mentalitate!

Arhitectura Data Mesh din perspectivă generală

¹ https://martinfowler.com/articles/data-monolith-to-mesh.html

Cum se procesează datele?

Aspecte organizaționale și culturale ale gestionării datelor
Produsele de date de domeniu sunt cetățeni de prim rang
Instrumentele sunt cetățeni de rang secund
Lacurile și depozitele de date sunt simple noduri, detalii în cadrul unui domeniu

Beneficii și provocări ale Data Mesh

Beneficii:
- Democratizarea datelor
- Descentralizare
- Proprietate clară
- Scalabilitate și agilitate
- Timp mai scurt până la lansare
- Flexibilitate în stiva tehnologică
- ...

Provocări:
- Schimbare culturală
- Guvernanța datelor
- Colaborare și coordonare
- Complexitate tehnică

Data Fabric

Vedere unificată și integrată
Democratizarea datelor
Metadate
- Graf de cunoștințe
- Algoritmi AI/ML
- Metadate active
Integrare inteligentă
Gestionare și protecție îmbunătățită a datelor

¹ https://www.gartner.com/smarterwithgartner/data-fabric-architecture-is-key-to-modernizing-data-management-and-integration ² https://www.ibm.com/topics/data-fabric

Data Fabric ar trebui să suporte...

ETL
Streaming
Replicare
Mesagerie
Virtualizare de date
Microservicii de date
...

Să exersăm!

Înțelegerea arhitecturii moderne a datelor