Unity Catalog और Lineage

Databricks Lakehouse परिचय

Gang Wang

Senior Data Scientist

Governance क्यों ज़रूरी है

कई टीमों में सैकड़ों टेबल्स
"क्या मार्केटिंग टीम ग्राहक की वित्तीय डेटा देख सकती है?"
"यह रिपोर्ट गलत लगती है - असल डेटा आया कहाँ से?"
Unity Catalog इन सवालों के जवाब केंद्रीकृत करता है

recraft: half: अनगवर्न्ड डेटा की जटिलता दर्शाता आपस में जुड़े डेटा पाइपलाइन्स और फोल्डर्स की भूलभुलैया, जिनके ऊपर प्रश्नचिह्न तैर रहे हैं

Unity Catalog की हाइरार्की

Unity Catalog हाइरार्की ट्री व्यू

Metastore - प्रति अकाउंट एक, टॉप-लेवल कंटेनर
Catalogs - जैसे "production" या "development"
Schemas - संबंधित ऑब्जेक्ट्स का समूह (जैसे "sales")
इसमें tables, views, और functions होते हैं

Access control

-- किसी schema पर read एक्सेस दें
GRANT SELECT
ON SCHEMA production.sales
TO `analytics_team`;

-- टेबल-लेवल एक्सेस हटाएँ
REVOKE SELECT
ON TABLE production.sales.customers
FROM `intern_group`;

हाइरार्की के हर स्तर पर permissions
catalogs, schemas, या tables पर SELECT, MODIFY, CREATE दें
Inherited - catalog पर grant उसके सभी schemas पर लागू

Data lineage

यह डेटा आया कहाँ से?

flowchart: bronze_orders (source), silver_orders (cleansed), gold_daily_revenue (aggregated), Revenue Dashboard (consumer)

क्वेरी चलने पर टेबल-टू-टेबल रिलेशनशिप का ऑटोमैटिक ट्रैकिंग
Upstream सोर्सेज और downstream कंज्यूमर्स तक ट्रेस करें

व्यवहार में Lineage

Upstream - डेटा कहाँ से आता है, ट्रेस करें
Downstream - कौन-सी चीज़ें इस टेबल पर निर्भर हैं, देखें
Impact analysis - यह कॉलम बदलूँ तो क्या टूटेगा?
Debugging - रिपोर्ट में गलत नंबर हैं, सोर्स तक पीछे ट्रेस करें

recraft: half: एक जासूस आवर्धक काँच से जुड़े दस्तावेज़ों और डेटा टेबल्स की कड़ी की जाँच करता हुआ, जो डेटा lineage की जाँच को दर्शाता है

सारांश

Unity Catalog - सभी डेटा एसेट्स के लिए केंद्रीकृत गवर्नेंस
Hierarchy - metastore → catalog → schema
Access control - हर स्तर पर SQL grants, नीचे तक inherited
Lineage - डेटा फ्लो का ऑटोमैटिक ट्रैकिंग, upstream और downstream

अभ्यास करते हैं!

Databricks Lakehouse परिचय