Data Mesh і Data Fabric

Розуміння сучасної архітектури даних

Miller Trujillo

Senior Software Engineer

Data Mesh

Архітектурний підхід до децентралізації володіння та керування даними
Володіння і керування:
- Повна відповідальність за дані
- Забезпечення якості, безпеки та приватності

Архітектура Data Mesh

Власники для кожного набору даних
Подавайте дані як продукти
Спільна інфраструктура
Мікросервіси
Зміна мислення!

Архітектура data mesh з висоти 30 000 футів

¹ https://martinfowler.com/articles/data-monolith-to-mesh.html

Як тоді обробляти дані?

Організаційні та культурні аспекти керування даними
Доменно-орієнтовані продукти даних — повноправні «громадяни»
Інструменти — другорядні
Озера та сховища даних — це лише вузли, деталі в межах домену

Переваги й виклики Data Mesh

Переваги:
- Демократизація даних
- Децентралізація
- Чітке володіння
- Масштабованість і гнучкість
- Швидший вихід на ринок
- Гнучкий стек технологій
- ...

Виклики:
- Культурна зміна
- Data governance
- Співпраця та координація
- Технічна складність

Data Fabric

Уніфікований та інтегрований огляд
Демократизація даних
Метадані
- Граф знань
- Алгоритми AI/ML
- Активні метадані
Інтелектуальна інтеграція
Краще керування та захист даних

¹ https://www.gartner.com/smarterwithgartner/data-fabric-architecture-is-key-to-modernizing-data-management-and-integration ² https://www.ibm.com/topics/data-fabric

Що має підтримувати Data Fabric...

ETL
Стримінг
Реплікація
Обмін повідомленнями
Віртуалізація даних
Мікросервіси даних
...

Давайте потренуємось!

Розуміння сучасної архітектури даних