Data Mesh 與 Data Fabric

理解現代資料架構

Miller Trujillo

Senior Software Engineer

Data Mesh

  • 去中心化資料所有權與管理的架構方法
  • 所有權與管理：
    • 對資料負全責
    • 確保品質、安全與隱私
理解現代資料架構

Data Mesh 架構

  • 每個資料集都有負責人
  • 將資料當成產品提供
  • 共享共同基礎設施
  • 微服務
  • 思維轉變！

30,000 英尺視角的 Data mesh 架構

1 https://martinfowler.com/articles/data-monolith-to-mesh.html
理解現代資料架構

那要怎麼處理資料？

  • 資料管理的組織與文化面
  • 領域資料產品為一等公民
  • 工具為二等公民
  • 資料湖與資料倉只是節點，屬於領域內細節
理解現代資料架構

Data Mesh 的優點與挑戰

  • 優點：
    • 資料普及化
    • 去中心化
    • 所有權明確
    • 可擴展、敏捷
    • 更快上市時間
    • 技術棧更彈性
    • …
  • 挑戰：
    • 文化轉變
    • 資料治理
    • 協作與協調
    • 技術複雜度
理解現代資料架構

Data Fabric

  • 統一且整合的視圖
  • 資料普及化
  • 中介資料（Metadata）
    • 知識圖譜
    • AI/ML 演算法
    • 主動式中介資料
  • 智慧整合
  • 更佳的資料管理與防護
1 https://www.gartner.com/smarterwithgartner/data-fabric-architecture-is-key-to-modernizing-data-management-and-integration 2 https://www.ibm.com/topics/data-fabric
理解現代資料架構

Data Fabric 應支援…

  • ETL
  • 串流
  • 複寫
  • 訊息傳遞
  • 資料虛擬化
  • 資料微服務
  • …
理解現代資料架構

一起來練習吧！

理解現代資料架構

Preparing Video For Download...