Data Mesh и Data Fabric

Современные архитектуры данных

Miller Trujillo

Senior Software Engineer

Data Mesh

Архитектурный подход к децентрализации владения данными и управления ими
Владение и управление:
- Полная ответственность за данные
- Обеспечение качества, безопасности и конфиденциальности

Архитектура Data Mesh

Владельцы для каждого набора данных
Данные как продукты
Общая инфраструктура
Микросервисы
Смена парадигмы!

Архитектура Data Mesh с высоты птичьего полёта

¹ https://martinfowler.com/articles/data-monolith-to-mesh.html

Как тогда обрабатывать данные?

Организационные и культурные аспекты управления данными
Доменные продукты данных — объекты первого класса
Инструменты — объекты второго класса
Озёра и хранилища данных — лишь узлы внутри домена

Преимущества и сложности Data Mesh

Преимущества:
- Демократизация данных
- Децентрализация
- Чёткое распределение ответственности
- Масштабируемость и гибкость
- Ускорение выхода на рынок
- Свобода выбора технологического стека
- ...

Сложности:
- Культурные изменения
- Управление данными
- Взаимодействие и координация
- Техническая сложность

Data Fabric

Единое интегрированное представление
Демократизация данных
Метаданные
- Граф знаний
- Алгоритмы ИИ/МО
- Активные метаданные
Интеллектуальная интеграция
Улучшенное управление и защита данных

¹ https://www.gartner.com/smarterwithgartner/data-fabric-architecture-is-key-to-modernizing-data-management-and-integration ² https://www.ibm.com/topics/data-fabric

Data Fabric должна поддерживать...

ETL
Потоковая обработка
Репликация
Обмен сообщениями
Виртуализация данных
Микросервисы данных
...

Давайте потренируемся!

Современные архитектуры данных