Einstieg in das Databricks SDK

Databricks mit dem Python-SDK

Avi Steinberg

Software/Data Engineer

Warum Databricks lernen?

Profilbild

  • Führende ML-, AI- und Data-Engineering-Cloud-Plattform
  • Von über 60 % der Fortune-500-Unternehmen genutzt

Databricks-Emblem

1 https://www.databricks.com/company/newsroom/press-releases/databricks-raising-10b-series-j-investment-62b-valuation
Databricks mit dem Python-SDK

Was ist ein Databricks-Workspace?

  • Databricks-Bereitstellung von Cloud-Ressourcen
  • Umgebung zum Zugriff auf Databricks-Assets
  • Beispiele im Databricks-Workspace: Jobs, Cluster und Notebooks
Databricks mit dem Python-SDK

Databricks SDK installieren

SDK installieren

pip install databricks-sdk

WorkspaceClient instanziieren

from databricks.sdk import WorkspaceClient
w = WorkspaceClient()
1 https://docs.databricks.com/en/dev-tools/sdk-python.html#language-venv
Databricks mit dem Python-SDK

Authentifizierungs-Umgebungsvariablen

  • Umgebungsvariable = Schlüssel/Wert-Paar zur Konfiguration des Anwendungsverhaltens

  • DATABRICKS_CLIENT_SECRET

  • DATABRICKS_CLIENT_ID
  • DATABRICKS_HOST=<workspace_id>.cloud.databricks.com

Screenshot der Web-URL des Databricks-Workspaces

Databricks mit dem Python-SDK

Mit Service Principal authentifizieren

  • Service Principal = Sicherheitsidentität in der Cloud, die eine Anwendung repräsentiert

  • Service Principal erstellen

  • Service Principal Berechtigungen zuweisen
  • Secret für Service Principal erzeugen

Bild der Secrets-Seite für Databricks Workspace Service Principal

1 https://docs.databricks.com/en/dev-tools/auth/oauth-m2m.html#step-1-create-a-service-principal
Databricks mit dem Python-SDK

Standardauthentifizierung

from databricks.sdk import WorkspaceClient
import os

os.environ['DATABRICKS_CLIENT_SECRET'] = "Your-Client-Secret"
os.environ['DATABRICKS_CLIENT_ID'] = "Your-Databricks-Client-Id"
os.environ['DATABRICKS_HOST'] = "Your-Databricks-Host"
w = WorkspaceClient()
  • Liest die drei Umgebungsvariablen automatisch ein
Databricks mit dem Python-SDK

Mit dem Databricks-Workspace arbeiten

# Authenticate WorkspaceClient
from databricks.sdk import WorkspaceClient
import os
os.environ['DATABRICKS_CLIENT_SECRET'] = "Your-Client-Secret"
os.environ['DATABRICKS_CLIENT_ID'] = "Your-Databricks-Client-Id"
os.environ['DATABRICKS_HOST'] = "Your-Databricks-Host"
w = WorkspaceClient()

# Create Cluster:
cluster = w.clusters.create(cluster_name="Test-Cluster")

# List Clusters:
for cluster in w.clusters.list():
    print(f"Clusters Name: {cluster.cluster_name}")

Clusters Name: Test-Cluster
1 https://databricks-sdk-py.readthedocs.io/en/latest/clients/workspace.html
Databricks mit dem Python-SDK

Lass uns üben!

Databricks mit dem Python-SDK

Preparing Video For Download...