लेकहाउस फेडरेशन

Databricks Lakehouse परिचय

Gang Wang

Senior Data Scientist

समस्या: डेटा साइलो

recraft: half: अलग-अलग द्वीपों पर डेटा टेबल्स और उनके बीच टूटी/ग़ैर-मौजूद पुल, जो अलग-अलग सिस्टम्स में डेटा साइलो दिखाते हैं

डेटा कई सिस्टम्स में बिखरा है
PostgreSQL, MySQL, Snowflake, SQL Server
डेटा मूव करना धीमा है और कॉपियाँ बनती हैं
आपको ऐसे उत्तर चाहिए जो आपके सारे डेटा पर हों

Lakehouse Federation क्या है?

architecture: Lakehouse Federation

कनेक्शन सेट अप करना

-- Create a connection
CREATE CONNECTION partner_pg
TYPE postgresql
OPTIONS (
  host 'db.partner.com',
  port '5432',
  user 'reader',
  password secret('scope', 'key')
);

-- Create a foreign catalog
CREATE FOREIGN CATALOG partner_db
USING CONNECTION partner_pg;

-- Query the external table
SELECT *
FROM partner_db.public.orders
LIMIT 10;

कब फेडरेट करें बनाम कब इनजेस्ट करें

	Federate	Ingest
Access	रियल-टाइम	बैच कॉपी
Query volume	लो	हाई
Latency	सोर्स-निर्भर	लो
Compliance	कॉपी की ज़रूरत नहीं	डेटा मूव होता है
Transforms	लिमिटेड	फुल मेडेलियन

Federate जब रियल-टाइम, लो-वॉल्यूम, या कम्प्लायंस-सीमित एक्सेस हो
Ingest जब हाई-वॉल्यूम, रिपीटेड, परफॉर्मेंस-क्रिटिकल वर्कलोड हों

Unity Catalog में फेडरेशन

फेडरेटेड टेबल्स Unity Catalog हाइअरार्की में दिखती हैं
लोकल टेबल्स जैसा ही एक्सेस कंट्रोल और लाइनएज
एक ही क्वेरी में फेडरेटेड और लोकल लेकहाउस टेबल्स को जॉइन करें
सपोर्टेड सोर्स: PostgreSQL, MySQL, Snowflake, SQL Server, आदि

recraft: half: दो आधुनिक इमारतें, जिनको डेटा स्ट्रीम्स के चमकते पुल से जोड़ा गया है और बीच में एक सेंट्रल कैटलॉग डायरेक्टरी है, जो फेडरेटेड डेटा गवर्नेंस दर्शाती है

सारांश

Lakehouse Federation बिना कॉपी बनाए एक्सटर्नल डेटा पर क्वेरी चलाता है
एक connection सेट करें, foreign catalog बनाएँ, और standard SQL से क्वेरी करें
Federate जब रियल-टाइम, लो-वॉल्यूम, या कम्प्लायंस-सीमित एक्सेस हो
Ingest जब हाई-वॉल्यूम, रिपीटेड, परफॉर्मेंस-क्रिटिकल वर्कलोड हों

अभ्यास करते हैं!

Databricks Lakehouse परिचय