数据网格与数据织体

深入理解现代数据架构

Miller Trujillo

Senior Software Engineer

数据网格（Data Mesh）

  • 去中心化数据所有权与管理的架构方法
  • 所有权与管理：
    • 对数据负全责
    • 确保质量、安全与隐私
深入理解现代数据架构

数据网格架构

  • 每个数据集都有所有者
  • 将数据作为产品发布
  • 共享统一基础设施
  • 微服务
  • 思维转变！

3 万英尺视角的数据网格架构

1 https://martinfowler.com/articles/data-monolith-to-mesh.html
深入理解现代数据架构

那如何处理数据？

  • 数据管理的组织与文化层面
  • 领域数据产品是一等公民
  • 工具是二等公民
  • 数据湖与仓库只是节点，属领域内细节
深入理解现代数据架构

数据网格：优势与挑战

  • 优势：
    • 数据民主化
    • 去中心化
    • 明确的所有权
    • 可扩展与敏捷
    • 更快上市时间
    • 技术栈灵活性
    • …
  • 挑战：
    • 文化转变
    • 数据治理
    • 协作与协同
    • 技术复杂性
深入理解现代数据架构

数据织体（Data Fabric）

  • 统一且集成的视图
  • 数据民主化
  • 元数据
    • 知识图谱
    • AI/ML 算法
    • 主动型元数据
  • 智能集成
  • 更佳的数据管理与保护
1 https://www.gartner.com/smarterwithgartner/data-fabric-architecture-is-key-to-modernizing-data-management-and-integration 2 https://www.ibm.com/topics/data-fabric
深入理解现代数据架构

数据织体应支持…

  • ETL
  • 流式处理
  • 复制
  • 消息传递
  • 数据虚拟化
  • 数据微服务
  • …
深入理解现代数据架构

Passons à la pratique !

深入理解现代数据架构

Preparing Video For Download...