Începeți cu Databricks SDK

Databricks cu Python SDK

Avi Steinberg

Software/Data Engineer

De ce să învățați Databricks?

Fotografie de profil

  • Platforme cloud de top pentru ML, AI și inginerie de date
  • Utilizat de peste 60% dintre companiile Fortune 500

Emblema Databricks

1 https://www.databricks.com/company/newsroom/press-releases/databricks-raising-10b-series-j-investment-62b-valuation
Databricks cu Python SDK

Ce este un Databricks Workspace?

  • Implementarea resurselor cloud Databricks
  • Mediu pentru accesarea resurselor Databricks
  • Exemple de resurse: joburi, clustere și notebook-uri
Databricks cu Python SDK

Instalarea Databricks SDK

Instalați SDK-ul

pip install databricks-sdk

Instanțiați WorkspaceClient

from databricks.sdk import WorkspaceClient
w = WorkspaceClient()
1 https://docs.databricks.com/en/dev-tools/sdk-python.html#language-venv
Databricks cu Python SDK

Variabile de mediu pentru autentificare

  • Variabilă de mediu = pereche cheie/valoare pentru configurarea aplicației

  • DATABRICKS_CLIENT_SECRET

  • DATABRICKS_CLIENT_ID
  • DATABRICKS_HOST=<workspace_id>.cloud.databricks.com

Captură de ecran cu URL-ul web al Databricks Workspace

Databricks cu Python SDK

Autentificare cu un Service Principal

  • Service Principal = identitate de securitate în cloud care reprezintă o aplicație

  • Creați un Service Principal

  • Atribuiți permisiuni unui Service Principal
  • Generați un secret pentru Service Principal

Pagina Secrets pentru Service Principal din Databricks Workspace

1 https://docs.databricks.com/en/dev-tools/auth/oauth-m2m.html#step-1-create-a-service-principal
Databricks cu Python SDK

Autentificare implicită

from databricks.sdk import WorkspaceClient
import os

os.environ['DATABRICKS_CLIENT_SECRET'] = "Your-Client-Secret"
os.environ['DATABRICKS_CLIENT_ID'] = "Your-Databricks-Client-Id"
os.environ['DATABRICKS_HOST'] = "Your-Databricks-Host"
w = WorkspaceClient()
  • Citește automat valorile celor trei variabile de mediu
Databricks cu Python SDK

Interacțiunea cu spațiul de lucru Databricks

# Authenticate WorkspaceClient
from databricks.sdk import WorkspaceClient
import os
os.environ['DATABRICKS_CLIENT_SECRET'] = "Your-Client-Secret"
os.environ['DATABRICKS_CLIENT_ID'] = "Your-Databricks-Client-Id"
os.environ['DATABRICKS_HOST'] = "Your-Databricks-Host"
w = WorkspaceClient()

# Create Cluster:
cluster = w.clusters.create(cluster_name="Test-Cluster")

# List Clusters:
for cluster in w.clusters.list():
    print(f"Clusters Name: {cluster.cluster_name}")

Clusters Name: Test-Cluster
1 https://databricks-sdk-py.readthedocs.io/en/latest/clients/workspace.html
Databricks cu Python SDK

Să exersăm!

Databricks cu Python SDK

Preparing Video For Download...