Data Mesh i Data Fabric

Nowoczesna architektura danych

Miller Trujillo

Senior Software Engineer

Data Mesh

Architektoniczne podejście do decentralizacji własności danych i zarządzania nimi
Własność i zarządzanie:
- Pełna odpowiedzialność za dane
- Zapewnienie jakości, bezpieczeństwa i prywatności

Architektura Data Mesh

Właściciele każdego zbioru danych
Udostępnianie danych jako produktów
Wspólna infrastruktura
Mikroserwisy
Zmiana podejścia!

Architektura Data Mesh z lotu ptaka

¹ https://martinfowler.com/articles/data-monolith-to-mesh.html

Jak zatem przetwarzać dane?

Organizacyjne i kulturowe aspekty zarządzania danymi
Domenowe produkty danych są pierwszorzędnymi elementami
Narzędzia są drugorzędnymi elementami
Jeziora i hurtownie danych to tylko węzły w obrębie domeny

Zalety i wyzwania Data Mesh

Zalety:
- Demokratyzacja danych
- Decentralizacja
- Jasna własność
- Skalowalność i elastyczność
- Szybsze wdrożenie produktu
- Elastyczność stosu technologicznego
- ...

Wyzwania:
- Zmiana kultury organizacyjnej
- Ład danych
- Współpraca i koordynacja
- Złożoność techniczna

Data Fabric

Ujednolicony i zintegrowany widok
Demokratyzacja danych
Metadane
- Graf wiedzy
- Algorytmy AI/ML
- Aktywne metadane
Inteligentna integracja
Lepsze zarządzanie danymi i ich ochrona

¹ https://www.gartner.com/smarterwithgartner/data-fabric-architecture-is-key-to-modernizing-data-management-and-integration ² https://www.ibm.com/topics/data-fabric

Data Fabric powinien obsługiwać...

ETL
Strumieniowanie
Replikacja
Komunikaty
Wirtualizacja danych
Mikroserwisy danych
...

Czas na ćwiczenia!

Nowoczesna architektura danych