Delta Sharing: प्रकार और समझौते

Databricks Lakehouse परिचय

Gang Wang

Senior Data Scientist

शेयरिंग के दो तरीके

तुलना: Native Sharing बनाम Open Protocol Sharing

Native sharing - Databricks से Databricks
- Unity Catalog से सहज इंटीग्रेशन
- दोनों तरफ पूरा governance
Open protocol - कोई भी प्लेटफ़ॉर्म
- Spark, pandas, Power BI, Snowflake
- ज़्यादा सेटअप, पर विस्तृत पहुँच

Databricks-native शेयरिंग

दोनों पक्ष Databricks ग्राहक हों
साझा डेटा रिसीपिएंट के Unity Catalog में दिखे
दोनों तरफ पूरा governance
कम सेटअप - बस शेयर बनाएँ और एक्सेस दें

recraft: आधा: दो आधुनिक इमारतें, बीच में चमकता पुल जो दो Databricks workspaces के निर्बाध सीधे कनेक्शन का संकेत देता है

Open protocol शेयरिंग

# Recipient's code (using pandas)
import delta_sharing

profile = "config.share"
client = delta_sharing.SharingClient(
    profile
)
tables = client.list_all_tables()
df = delta_sharing.load_as_pandas(
    f"{profile}#share.schema.table"
)

रिसीपिएंट कोई भी प्लेटफ़ॉर्म इस्तेमाल कर सकते हैं
रिसीपिएंट Delta Sharing client इंस्टॉल करते हैं
Spark, pandas, Power BI, Snowflake, Tableau

कॉस्ट पर विचार

Same region - सामान्यतः egress चार्ज नहीं
Cross-region - क्लाउड प्रोवाइडर डेटा ट्रांसफर चार्ज लेते हैं
Cross-cloud (जैसे Azure से AWS) - सबसे अधिक egress फीस
साझा डेटा मुख्य रिसीपिएंट्स के पास रखें

परतें: Same Region - Free या सस्ता, Cross-Region - Egress चार्ज, Cross-Cloud - Highest फीस

सही तरीका चुनना

निर्णय वृक्ष: क्या रिसीपिएंट Databricks पर है? हाँ - Native Sharing उपयोग करें (पूर्ण governance, कम सेटअप, ऑडिट लॉगिंग). नहीं - Open Protocol उपयोग करें (कोई भी प्लेटफ़ॉर्म, केवल प्रोवाइडर-स्तरीय governance, मध्यम सेटअप). दोनों - region के अनुसार egress लागत पर विचार करें.

सारांश

Native sharing - Databricks-to-Databricks, सहज, पूरा governance
Open protocol - कोई भी प्लेटफ़ॉर्म, व्यापक पहुँच, अधिक सेटअप
Egress चार्ज cross-region और cross-cloud में बढ़ते हैं
चुनाव रिसीपिएंट के प्लेटफ़ॉर्म और डेटा लोकेशन पर करें

अभ्यास करते हैं!

Databricks Lakehouse परिचय