Unity Catalog และ Lineage

Introduction to Databricks Lakehouse

Gang Wang

Senior Data Scientist

ทำไม governance จึงสำคัญ

ตารางหลายร้อยรายการกระจายอยู่ในหลายทีม
"ทีมการตลาดเข้าถึงข้อมูลการเงินของลูกค้าได้ไหม?"
"รายงานนี้ดูผิดปกติ — ข้อมูลต้นทางมาจากไหนกันแน่?"
Unity Catalog รวมคำตอบทั้งหมดไว้ที่เดียว

recraft: half: ภาพ pipeline ข้อมูลและโฟลเดอร์ที่เชื่อมโยงกันอย่างซับซ้อน พร้อมเครื่องหมายคำถามลอยอยู่เหนือ แสดงถึงความยุ่งเหยิงของข้อมูลที่ขาด governance

ลำดับชั้นของ Unity Catalog

มุมมองแผนผังลำดับชั้นของ Unity Catalog

Metastore - หนึ่งต่อบัญชี เป็น container ระดับบนสุด
Catalogs - เช่น "production" หรือ "development"
Schemas - จัดกลุ่มออบเจกต์ที่เกี่ยวข้องกัน (เช่น "sales")
ประกอบด้วย tables, views, และ functions

การควบคุมการเข้าถึง

-- Grant read access to a schema
GRANT SELECT
ON SCHEMA production.sales
TO `analytics_team`;

-- Revoke table-level access
REVOKE SELECT
ON TABLE production.sales.customers
FROM `intern_group`;

กำหนดสิทธิ์ได้ในทุกระดับของลำดับชั้น
Grant SELECT, MODIFY, CREATE บน catalogs, schemas, หรือ tables
สืบทอดได้ — grant บน catalog จะมีผลกับทุก schema ภายใน

Data lineage

ข้อมูลนี้มาจากที่ไหน?

flowchart: bronze_orders (ต้นทาง), silver_orders (ผ่านการทำความสะอาด), gold_daily_revenue (รวมยอด), Revenue Dashboard (ผู้บริโภค)

ติดตามอัตโนมัติความสัมพันธ์ระหว่างตารางขณะรันคิวรี
ย้อนกลับไปยังแหล่งต้นทาง และติดตามปลายทางที่ใช้ข้อมูล

Lineage ในทางปฏิบัติ

Upstream - ย้อนดูว่าข้อมูลมาจากที่ไหน
Downstream - ดูว่าอะไรขึ้นอยู่กับตารางนี้
Impact analysis - ถ้าเปลี่ยนคอลัมน์นี้ จะกระทบอะไรบ้าง?
Debugging - รายงานแสดงตัวเลขผิด ให้ย้อนหาต้นตอ

recraft: half: ภาพนักสืบถือแว่นขยายตรวจสอบเส้นทางของเอกสารและตารางข้อมูลที่เชื่อมต่อกัน แสดงถึงการสืบสาว data lineage

สรุป

Unity Catalog - การกำกับดูแลข้อมูลทุกชิ้นจากศูนย์กลาง
ลำดับชั้น - metastore → catalog → schema
การควบคุมการเข้าถึง - SQL grants ทุกระดับ สืบทอดจากบนลงล่าง
Lineage - ติดตามการไหลของข้อมูลอัตโนมัติ ทั้ง upstream และ downstream

มาฝึกกันเถอะ!

Introduction to Databricks Lakehouse