प्लेटफ़ॉर्म आर्किटेक्चर

Databricks Lakehouse परिचय

Gang Wang

Senior Data Scientist

होटल उदाहरण

कंट्रोल प्लेन - "फ्रंट डेस्क"

recraft: half: एक आधुनिक होटल का फ्रंट डेस्क जहाँ कन्सियर्ज स्क्रीन पर बुकिंग मैनेज कर रहा है, जो Databricks द्वारा समन्वय और शेड्यूलिंग को दर्शाता है

Databricks द्वारा प्रबंधित
समन्वय और रिक्वेस्ट संभालता है

डेटा प्लेन - "आपका होटल रूम"

recraft: half: एक सुरक्षित निजी होटल रूम जिसमें पर्सनल सेफ़ और वर्कस्पेस डेस्क है, जो कस्टमर क्लाउड अकाउंट को दर्शाता है जहाँ डेटा रहता है और कंप्यूट चलता है

आपके क्लाउड अकाउंट में रहता है
जहाँ आपका डेटा और कंप्यूट चलते हैं

कंट्रोल प्लेन

Databricks द्वारा प्रबंधित
वर्कस्पेस UI और नोटबुक्स
जॉब शेड्यूलिंग और ऑर्केस्ट्रेशन
क्लस्टर मैनेजमेंट और कॉन्फ़िगरेशन

recraft: half: एक आधुनिक रिसेप्शन डेस्क जिसमें डैशबोर्ड और शेड्यूलिंग बोर्ड दिखाते संगठित मॉनिटर्स हैं, जो एक कंट्रोल सेंटर दर्शाता है

डेटा प्लेन

recraft: half: एक सुरक्षित वॉल्ट रूम जिसमें सर्वर रैक और लॉक्ड स्टोरेज कंटेनर हैं, जो कस्टमर-ओन्ड क्लाउड इन्फ्रास्ट्रक्चर दर्शाता है

आपके क्लाउड अकाउंट में रहता है
कंप्यूट क्लस्टर यहीं चलते हैं
डेटा आपके क्लाउड स्टोरेज में रहता है
एक्सेस और नेटवर्किंग पर आपका नियंत्रण

कहाँ क्या रहता है?

nanobanana: full: दो सेक्शनों का स्प्लिट डायग्राम तीरों से जुड़ा: बाएँ "Control Plane" लेबल, जिसमें Workspace UI और Job Scheduler; दाएँ "Data Plane" लेबल, जिसमें Clusters और Cloud Storage; दोनों के बीच तीर बह रहे हैं

ऑडिट लॉग्स और सिस्टम टेबल्स

ऑडिट लॉग्स सभी वर्कस्पेस एक्टिविटी ट्रैक करते हैं
आपके क्लाउड अकाउंट में system tables के रूप में स्टोर होते हैं
कंप्लायंस रिपोर्टिंग के लिए SQL से क्वेरी करें

SELECT user_name, action_name,
       event_time
FROM system.access.audit
WHERE action_name = 'clusterCreate'
ORDER BY event_time DESC
LIMIT 5;

सारांश

कंट्रोल प्लेन - Databricks-प्रबंधित (UI, शेड्यूलिंग, मैनेजमेंट)
डेटा प्लेन - आपका क्लाउड (कंप्यूट, स्टोरेज, डेटा)
ऑडिट लॉग्स - आपके अकाउंट में system tables के रूप में स्टोर
आपका डेटा आपके क्लाउड एनवायरनमेंट से कभी बाहर नहीं जाता

अभ्यास करते हैं!

Databricks Lakehouse परिचय