क्लस्टर प्रबंधन और कॉन्फ़िगरेशन

Databricks Lakehouse परिचय

Gang Wang

Senior Data Scientist

अपने क्लस्टर ढूँढना

$$

All Clusters - वर्कस्पेस में सब कुछ
My Clusters - जो आपने बनाए
Shared with Me - जिनकी आपको पहुँच मिली
स्टेट से फ़िल्टर करें: Running, Terminated

$$

recraft: half: रंग-बिरंगी फोल्डर और लेबल वाले फाइलिंग कैबिनेट, जो क्लस्टर फ़िल्टरिंग और संगठन दर्शाता है

क्लस्टर स्टेट्स

flowchart: Pending, Running, Restarting, Terminating, Terminated

Termination: क्या बचता है, क्या खोता है

comparison: सुरक्षित: Configuration, Notebooks, Cloud storage | हटेगा: In-memory data, Installed libraries, Temp files

Termination हटाना नहीं है - config और notebooks बने रहते हैं
इन-मेमोरी डेटा, कैश, और pip-इंस्टॉल्ड पैकेजेज़ क्लियर हो जाते हैं

कब रीस्टार्ट करें

$$

नया library इंस्टॉल किया जो लोड नहीं हो रहा
क्लस्टर अनपेक्षित व्यवहार कर रहा है या धीमा है
मेमोरी से cached data साफ़ करना है
कोई init script या environment variable अपडेट किया

$$

recraft: half: पावर बटन आइकन जिसके चारों ओर नीले-हरे गोल तीर हैं, जो सिस्टम रीस्टार्ट/रिफ्रेश दर्शाता है

Autoscaling और auto-termination

$$

Autoscaling और Auto-termination

$$

Autoscaling मांग के अनुसार workers जोड़ता/हटाता है
स्पाइकी वर्कलोड बिना over-provisioning संभालता है
Auto-termination तय idle समय बाद बंद कर देता है
भूले हुए क्लस्टर बजट नहीं जलाते

क्लस्टर नीतियाँ

$$

क्लस्टर क्रिएशन के लिए एडमिन-परिभाषित guardrails
node types, max workers, और runtime versions सीमित करें
auto-termination और tagging लागू करें
यूज़र्स policy bounds के भीतर क्लस्टर बनाते हैं

$$

{
  "max_workers": 8,
  "auto_termination_minutes": 30,
  "allowed_node_types": [
    "Standard_DS3_v2",
    "Standard_DS4_v2"
  ]
}

सारांश

$$

Filter कर के ज़रूरी क्लस्टर जल्दी पाएँ
Termination लागत बचाती है, पर मेमोरी और libraries साफ़ हो जाती हैं
नई libraries लेने या ट्रबलशूट के लिए Restart करें
Autoscaling और auto-termination से लागत अपने-आप नियंत्रित रहे
Cluster policies से एडमिन मानक लागू करते हैं

अभ्यास करते हैं!

Databricks Lakehouse परिचय

Preparing Video For Download...