Data Mesh và Data Fabric

Tìm hiểu Kiến trúc Dữ liệu Hiện đại

Miller Trujillo

Senior Software Engineer

Data Mesh

Cách tiếp cận kiến trúc để phi tập trung hóa quyền sở hữu và quản trị dữ liệu
Quyền sở hữu và quản trị:
- Chịu trách nhiệm hoàn toàn về dữ liệu
- Đảm bảo chất lượng, an toàn và quyền riêng tư

Kiến trúc Data Mesh

Chủ sở hữu cho từng tập dữ liệu
Cung cấp dữ liệu như sản phẩm
Dùng chung hạ tầng
Microservices
Thay đổi tư duy!

Kiến trúc data mesh ở tầm cao 30.000 foot

¹ https://martinfowler.com/articles/data-monolith-to-mesh.html

Xử lý dữ liệu như thế nào?

Khía cạnh tổ chức và văn hóa của quản trị dữ liệu
Sản phẩm dữ liệu theo miền là thành phần hạng nhất
Công cụ là hạng hai
Data lake và warehouse chỉ là các nút, chi tiết trong miền

Lợi ích và thách thức của Data Mesh

Lợi ích:
- Dân chủ hóa dữ liệu
- Phi tập trung
- Quyền sở hữu rõ ràng
- Khả năng mở rộng, linh hoạt
- Rút ngắn thời gian ra thị trường
- Linh hoạt về công nghệ
- ...

Thách thức:
- Chuyển đổi văn hóa
- Quản trị dữ liệu
- Hợp tác và phối hợp
- Phức tạp kỹ thuật

Data Fabric

Góc nhìn hợp nhất, tích hợp
Dân chủ hóa dữ liệu
Siêu dữ liệu (metadata)
- Đồ thị tri thức
- Thuật toán AI/ML
- Siêu dữ liệu chủ động
Tích hợp thông minh
Quản lý và bảo vệ dữ liệu tốt hơn

¹ https://www.gartner.com/smarterwithgartner/data-fabric-architecture-is-key-to-modernizing-data-management-and-integration ² https://www.ibm.com/topics/data-fabric

Data Fabric nên hỗ trợ...

ETL
Streaming
Sao chép dữ liệu
Nhắn tin
Ảo hóa dữ liệu
Vi dịch vụ dữ liệu
...

Ayo berlatih!

Tìm hiểu Kiến trúc Dữ liệu Hiện đại