Databricks Python SDK के साथ बुनियादी ऑपरेशंस

Python SDK के साथ Databricks

Avi Steinberg

Senior Software Engineer

Databricks Clusters API

Databricks क्लस्टर क्या है?

क्लाउड compute संसाधनों और कॉन्फ़िगरेशन का एक सेट
आमतौर पर डेटा-इंटेंसिव वर्कलोड चलाने के लिए
सहयोगी विश्लेषण के लिए कई यूज़र साझा करते हैं

उदाहरण:

प्रोडक्शन ETL पाइपलाइंस
स्ट्रीमिंग एनालिटिक्स

Databricks क्लस्टर इमेजेज

Databricks SDK Clusters API आपको क्लस्टर बनाने, स्टार्ट करने, एडिट करने, लिस्ट करने और डिलीट करने देती है

क्लस्टर्स की लिस्टिंग

आइए एक उदाहरण से गुज़रते हैं जहाँ Databricks workspace में बनाए गए क्लस्टर्स की लिस्ट निकाली जाती है

from databricks.sdk import WorkspaceClient
w = WorkspaceClient()

clusters = w.clusters.list()

for cluster in clusters:
    print(f"ClusterId={cluster.cluster_id}")

ClusterId=0113-13328-woj98c32

¹ 1. https://databricks-sdk-py.readthedocs.io/en/stable/workspace/compute/clusters.html#databricks.sdk.service.compute.ClustersExt.list

Databricks Jobs API

Databricks जॉब क्या है?

स्केलेबल संसाधनों वाले Databricks क्लस्टर पर Databricks नोटबुक में सेव कोड चलाएँ
एक सिंगल टास्क या जटिल निर्भरताओं वाला बड़ा मल्टी-टास्क वर्कफ़्लो हो सकता है
CRON सिंटैक्स से तय समय पर शेड्यूल किया जा सकता है

Jobs API आपको जॉब बनाने, एडिट करने और डिलीट करने देती है

¹ https://docs.databricks.com/api/workspace/jobs

जॉब्स की लिस्टिंग

.list() मेथड का उपयोग कर ऑथेंटिकेटेड यूज़र के Workspace में जॉब्स की सूची निकालें

from databricks.sdk import WorkspaceClient
w = WorkspaceClient()
jobs = w.jobs.list()
for job in jobs:
    print(f"JobId={job.job_id}")

JobId=888763141802192
JobId=37050453972815
JobId=681550316180975
JobId=629994089852037

¹ 1. https://databricks-sdk-py.readthedocs.io/en/stable/workspace/jobs/jobs.html

Databricks Jobs डैशबोर्ड

workspace के संसाधन ऑनलाइन यहाँ देखे जा सकते हैं: https://<workspace-deployment-name>.cloud.databricks.com

Databricks Workspace डैशबोर्ड (UI)

Databricks नोटबुक्स

Databricks Notebook में Python कोड चलाएँ

Databricks Notebook का स्क्रीनशॉट

अभ्यास करते हैं!

Python SDK के साथ Databricks