Databricks SDK के साथ शुरुआत

Python SDK के साथ Databricks

Avi Steinberg

Software/Data Engineer

Databricks क्यों सीखें?

प्रोफ़ाइल पिक

  • अग्रणी ML, AI और Data Engineering क्लाउड प्लेटफ़ॉर्म
  • Fortune 500 की 60% से अधिक कंपनियाँ उपयोग करती हैं

Databricks प्रतीक

1 https://www.databricks.com/company/newsroom/press-releases/databricks-raising-10b-series-j-investment-62b-valuation
Python SDK के साथ Databricks

Databricks Workspace क्या है?

  • क्लाउड संसाधनों का Databricks डिप्लॉयमेंट
  • Databricks एसेट्स तक पहुँच का एनवायरनमेंट
  • Workspace में उदाहरण एसेट्स: jobs, clusters और notebooks
Python SDK के साथ Databricks

Databricks SDK इंस्टॉल करें

SDK इंस्टॉल करें

pip install databricks-sdk

WorkspaceClient इंस्टैंशिएट करें

from databricks.sdk import WorkspaceClient
w = WorkspaceClient()
1 https://docs.databricks.com/en/dev-tools/sdk-python.html#language-venv
Python SDK के साथ Databricks

Authentication environment variables

  • Environment variable = key/value पेयर जो एप्लिकेशन का व्यवहार कॉन्फ़िगर करता है

  • DATABRICKS_CLIENT_SECRET

  • DATABRICKS_CLIENT_ID
  • DATABRICKS_HOST=<workspace_id>.cloud.databricks.com

Databricks Workspace वेब URL का स्क्रीनशॉट

Python SDK के साथ Databricks

Service Principal से ऑथेंटिकेट करें

  • Service Principal = क्लाउड प्लेटफ़ॉर्म पर किसी एप्लिकेशन का security identity

  • Service Principal बनाएँ

  • Service Principal को permissions असाइन करें
  • Service Principal के लिए secret जनरेट करें

Databricks Workspace Service Principal की Secrets पेज की इमेज

1 https://docs.databricks.com/en/dev-tools/auth/oauth-m2m.html#step-1-create-a-service-principal
Python SDK के साथ Databricks

Default authentication

from databricks.sdk import WorkspaceClient
import os

os.environ['DATABRICKS_CLIENT_SECRET'] = "Your-Client-Secret"
os.environ['DATABRICKS_CLIENT_ID'] = "Your-Databricks-Client-Id"
os.environ['DATABRICKS_HOST'] = "Your-Databricks-Host"
w = WorkspaceClient()
  • ये तीनों environment variables के मान अपने-आप पढ़ता है
Python SDK के साथ Databricks

अपने Databricks workspace से इंटरैक्ट करना

# Authenticate WorkspaceClient
from databricks.sdk import WorkspaceClient
import os
os.environ['DATABRICKS_CLIENT_SECRET'] = "Your-Client-Secret"
os.environ['DATABRICKS_CLIENT_ID'] = "Your-Databricks-Client-Id"
os.environ['DATABRICKS_HOST'] = "Your-Databricks-Host"
w = WorkspaceClient()

# Create Cluster:
cluster = w.clusters.create(cluster_name="Test-Cluster")

# List Clusters:
for cluster in w.clusters.list():
    print(f"Clusters Name: {cluster.cluster_name}")

Clusters Name: Test-Cluster
1 https://databricks-sdk-py.readthedocs.io/en/latest/clients/workspace.html
Python SDK के साथ Databricks

अभ्यास करते हैं!

Python SDK के साथ Databricks

Preparing Video For Download...