Unity Catalog và Lineage

Giới thiệu về Databricks Lakehouse

Gang Wang

Senior Data Scientist

Vì sao quản trị quan trọng

Hàng trăm bảng giữa nhiều nhóm
"Đội marketing có xem được dữ liệu tài chính khách hàng không?"
"Báo cáo này có vẻ sai - dữ liệu gốc thực sự đến từ đâu?"
Unity Catalog tập trung hóa câu trả lời

recraft: half: Mê cung các pipeline dữ liệu và thư mục đan xen với dấu hỏi bay phía trên, thể hiện sự phức tạp khi dữ liệu thiếu quản trị

Phân cấp của Unity Catalog

Cây phân cấp của Unity Catalog

Metastore - một cái cho mỗi tài khoản, vùng chứa cấp cao nhất
Catalogs - như "production" hoặc "development"
Schemas - nhóm các đối tượng liên quan (vd: "sales")
Chứa tables, views và functions

Kiểm soát truy cập

-- Cấp quyền đọc cho một schema
GRANT SELECT
ON SCHEMA production.sales
TO `analytics_team`;

-- Thu hồi quyền ở mức bảng
REVOKE SELECT
ON TABLE production.sales.customers
FROM `intern_group`;

Phân quyền ở mọi cấp trong hệ phân cấp
Cấp SELECT, MODIFY, CREATE trên catalogs, schemas, hoặc tables
Kế thừa - quyền trên catalog áp dụng cho mọi schema bên trong

Data lineage

Dữ liệu này đến từ đâu?

flowchart: bronze_orders (nguồn), silver_orders (đã làm sạch), gold_daily_revenue (tổng hợp), Revenue Dashboard (người dùng cuối)

Theo dõi tự động quan hệ bảng-với-bảng khi truy vấn chạy
Lần theo nguồn upstream và bên tiêu thụ downstream

Lineage trong thực tiễn

Upstream - truy vết dữ liệu đến từ đâu
Downstream - xem những gì phụ thuộc vào bảng này
Phân tích tác động - đổi cột này thì điều gì hỏng?
Gỡ lỗi - báo cáo sai số, lần ngược về nguồn

recraft: half: Một thám tử cầm kính lúp lần theo chuỗi tài liệu và bảng dữ liệu kết nối, tượng trưng cho việc điều tra data lineage

Tóm tắt

Unity Catalog - quản trị tập trung cho mọi tài sản dữ liệu
Phân cấp - metastore → catalog → schema
Kiểm soát truy cập - cấp quyền SQL ở mọi cấp, kế thừa xuống dưới
Lineage - theo dõi tự động luồng dữ liệu, upstream và downstream

Cùng luyện tập nào!

Giới thiệu về Databricks Lakehouse