元数据管理

深入理解现代数据架构

Miller Trujillo

Senior Software Engineer

什么是元数据？

• 关于数据的数据

元数据类型

元数据类型	数据示例	图书目录示例
技术元数据	数据类型、关系、列名、数据源	图书的 ISBN、页数
业务元数据	业务定义、规则、数据所有者	书名、作者、出版社、类别
运营元数据	时间戳、ETL 作业状态、数据质量指标	图书入库日期、图书状况
使用元数据	谁在何时如何使用了数据	谁借了书、何时借出、借了多长时间

元数据存储在哪里？

GCP Data Catalog

• 托管元数据服务
• 与 GCP 服务集成
• 可注册外部元数据

AWS Glue Catalog

• 集中式元数据存储库
• 与 AWS 服务集成
• 爬网程序可编目外部数据

数据目录

• Azure Data Catalog
• Apache Atlas
• CKAN

 

• Datahub
• Collibra
• ...

让我们来练习！

深入理解现代数据架构