Unity Catalog 与血缘关系

Databricks Lakehouse 入门

Gang Wang

Senior Data Scientist

为何需要治理

$$

  • 多团队共享上百张表
  • "营销团队能看到客户财务数据吗？"
  • "这个报告不对——底层数据来自哪里？"
  • Unity Catalog 统一给出答案

$$

recraft: half: 由相互连接的数据管道和文件夹构成的迷宫，漂浮着问号，代表无治理数据的复杂性

Databricks Lakehouse 入门

Unity Catalog 层级结构

$$

Unity Catalog 层级树视图

$$

  • Metastore：每个账户 1 个，顶层容器
  • Catalogs：如 "production" 或 "development"
  • Schemas：分组相关对象（如 "sales"）
  • 包含 tables、views 和 functions
Databricks Lakehouse 入门

访问控制

$$

-- Grant read access to a schema
GRANT SELECT
ON SCHEMA production.sales
TO `analytics_team`;

-- Revoke table-level access
REVOKE SELECT
ON TABLE production.sales.customers
FROM `intern_group`;

$$

  • 在层级的每一层都可设置权限
  • 可在 catalog、schema 或 table 上授予 SELECT、MODIFY、CREATE
  • 继承性——授予 catalog 的权限会应用到其内所有 schema
Databricks Lakehouse 入门

数据血缘

这些数据来自哪里？

$$

flowchart: bronze_orders（源头）、silver_orders（清洗）、gold_daily_revenue（汇总）、Revenue Dashboard（消费方）

$$

  • 在查询运行时自动跟踪表间关系
  • 可追踪上游来源与下游消费方
Databricks Lakehouse 入门

血缘的实操

$$

  • Upstream：追溯数据来源
  • Downstream：查看依赖此表的对象
  • 影响分析：修改此列会导致什么损坏？
  • 调试：报告数值异常，沿链路回溯到源头

$$

recraft: half: 一位拿放大镜的侦探在检查相连的文档与数据表，代表数据血缘排查

Databricks Lakehouse 入门

小结

$$

  • Unity Catalog：统一治理所有数据资产
  • 层级：metastore → catalog → schema
  • 访问控制：各层 SQL 授权，向下继承
  • 血缘：自动跟踪数据流向，上游与下游
Databricks Lakehouse 入门

让我们一起练习吧！

Databricks Lakehouse 入门

Preparing Video For Download...