Data Mesh a Data Fabric

Porozumění moderní datové architektuře

Miller Trujillo

Senior Software Engineer

Data Mesh

Architektonický přístup k decentralizaci vlastnictví a správy dat
Vlastnictví a správa:
- Plná odpovědnost za data
- Zajištění kvality, bezpečnosti a soukromí

Architektura Data Mesh

Vlastníci pro každou datovou sadu
Vystavení dat jako produktů
Sdílená společná infrastruktura
Mikroslužby
Změna myšlení!

Architektura Data Mesh z výšky 30 000 stop

¹ https://martinfowler.com/articles/data-monolith-to-mesh.html

Jak tedy zpracovávat data?

Organizační a kulturní aspekty správy dat
Datové produkty domény jsou prvotřídními občany
Nástroje jsou druhotřídními občany
Datová jezera a sklady jsou jen uzly v rámci domény

Přínosy a výzvy Data Mesh

Přínosy:
- Demokratizace dat
- Decentralizace
- Jasné vlastnictví
- Škálovatelnost a agilita
- Rychlejší uvedení na trh
- Flexibilita technologického zásobníku
- ...

Výzvy:
- Kulturní změna
- Správa dat
- Spolupráce a koordinace
- Technická složitost

Data Fabric

Jednotný a integrovaný pohled
Demokratizace dat
Metadata
- Znalostní graf
- Algoritmy AI/ML
- Aktivní metadata
Inteligentní integrace
Lepší správa a ochrana dat

¹ https://www.gartner.com/smarterwithgartner/data-fabric-architecture-is-key-to-modernizing-data-management-and-integration ² https://www.ibm.com/topics/data-fabric

Data Fabric by měl podporovat...

ETL
Streaming
Replikace
Messaging
Virtualizace dat
Datové mikroslužby
...

Pojďme si to procvičit!

Porozumění moderní datové architektuře