क्लस्टर प्रकार और रनटाइम्स

Databricks Lakehouse परिचय

Gang Wang

Senior Data Scientist

क्लस्टर क्या है?

$$

  • आपका कोड चलाने वाली वर्चुअल मशीनों का सेट
  • एक ड्राइवर नोड काम समन्वयित करता है
  • एक या अधिक वर्कर नोड प्रोसेसिंग करते हैं
  • क्लस्टर क्लाउड स्टोरेज से डेटा पढ़ते हैं

$$

$$

क्रम: Driver Node, Worker 1, Worker 2, Worker 3, Cloud Storage

Databricks Lakehouse परिचय

ऑल-पर्पज़ क्लस्टर

$$

  • इंटरएक्टिव डेवलपमेंट और ऐड-हॉक क्वेरीज़
  • टीम के कई यूज़र्स के बीच शेयर
  • जब तक आप मैन्युअली बंद न करें, चलते रहते हैं
  • इसे अपनी पर्सनल कार समझें - हमेशा उपलब्ध, पर पार्क होने पर भी पैसा लगता है

$$

recraft: half: एक निजी कार ड्राइववे में खड़ी है, हमेशा उपलब्ध पर खाली होने पर भी लागत लगती है, जो हमेशा-ऑन कंप्यूट संसाधन दर्शाती है

Databricks Lakehouse परिचय

जॉब्स क्लस्टर

$$

  • जॉब शुरू होते ही अपने-आप बनते हैं
  • एक सिंगल टास्क चलाते हैं, फिर बंद हो जाते हैं
  • मैन्युअल मैनेजमेंट की ज़रूरत नहीं
  • प्रोडक्शन वर्कलोड्स के लिए कास्ट-ऑप्टिमाइज़्ड

$$

recraft: half: ऊपर ग्लो करता मीटर वाली एक मॉडर्न टैक्सी, ऑन-डिमांड कंप्यूट संसाधन जो अपने-आप चलता और रुकता है

Databricks Lakehouse परिचय

कब कौन-सा इस्तेमाल करें?

$$

तुलना: All-Purpose, Interactive dev, Notebook work, Ad-hoc SQL, Team sharing | Jobs, Nightly ETL, Scheduled reports, Auto testing, Production

  • आम गलती: प्रोडक्शन पाइपलाइंस को ऑल-पर्पज़ क्लस्टर्स पर चलाना
Databricks Lakehouse परिचय

Databricks Runtime

$$

  • हर क्लस्टर पर चलने वाला वर्ज़न्ड सॉफ़्टवेयर स्टैक
  • इसमें Apache Spark, Delta Lake, Python, R, Scala शामिल
  • LTS वर्ज़न - लॉन्ग-टर्म सपोर्ट, प्रोडक्शन के लिए अनुशंसित
  • ML Runtime पहले से इंस्टॉल ML लाइब्रेरीज़ जोड़ता है

$$

लेयर्स: Runtime 15.4 LTS, Apache Spark 3.5.x, Delta Lake 3.2.x, Python 3.11 / Scala 2.12 / R 4.3, System Libraries

Databricks Lakehouse परिचय

सारांश

$$

  • ऑल-पर्पज़ क्लस्टर - इंटरएक्टिव, साझा, मैन्युअल मैनेजमेंट
  • जॉब्स क्लस्टर - ऑटोमेटेड, सिंगल-टास्क, कास्ट-ऑप्टिमाइज़्ड
  • Databricks Runtime - वर्ज़न्ड सॉफ़्टवेयर स्टैक (प्रोडक्शन के लिए LTS लें)
  • लागत नियंत्रित करने को वर्कलोड के अनुसार क्लस्टर प्रकार चुनें
Databricks Lakehouse परिचय

अभ्यास करते हैं!

Databricks Lakehouse परिचय

Preparing Video For Download...