Kom igång med Databricks SDK

Databricks med Python SDK

Avi Steinberg

Software/Data Engineer

Varför lära sig Databricks?

Profilbild

Ledande molnplattformar för ML, AI och datateknik
Används av över 60 % av Fortune 500-företagen

Databricks Emblem

¹ https://www.databricks.com/company/newsroom/press-releases/databricks-raising-10b-series-j-investment-62b-valuation

Vad är ett Databricks Workspace?

Databricks driftsättning av molnresurser
Miljö för åtkomst till Databricks-resurser
Exempel på resurser i Databricks Workspace: jobb, kluster och notebooks

Installera Databricks SDK

Installera SDK:t

pip install databricks-sdk

Instansiera WorkspaceClient

from databricks.sdk import WorkspaceClient
w = WorkspaceClient()

¹ https://docs.databricks.com/en/dev-tools/sdk-python.html#language-venv

Miljövariabler för autentisering

Miljövariabel = nyckel/värde-par som används för att konfigurera applikationsbeteende
DATABRICKS_CLIENT_SECRET
DATABRICKS_CLIENT_ID
DATABRICKS_HOST=<workspace_id>.cloud.databricks.com

Skärmbild av Databricks Workspace webb-URL

Autentisera med en Service Principal

Service Principal = säkerhetsidentitet i en molnplattform som representerar en applikation
Skapa en Service Principal
Tilldela behörigheter till en Service Principal
Generera en hemlighet för Service Principal

Bild av sidan Hemligheter för Databricks Workspace Service Principal

¹ https://docs.databricks.com/en/dev-tools/auth/oauth-m2m.html#step-1-create-a-service-principal

Standardautentisering

from databricks.sdk import WorkspaceClient
import os

os.environ['DATABRICKS_CLIENT_SECRET'] = "Your-Client-Secret"
os.environ['DATABRICKS_CLIENT_ID'] = "Your-Databricks-Client-Id"
os.environ['DATABRICKS_HOST'] = "Your-Databricks-Host"
w = WorkspaceClient()

Läser automatiskt in värdena för de tre miljövariablerna

Interagera med ditt Databricks Workspace

# Authenticate WorkspaceClient
from databricks.sdk import WorkspaceClient
import os
os.environ['DATABRICKS_CLIENT_SECRET'] = "Your-Client-Secret"
os.environ['DATABRICKS_CLIENT_ID'] = "Your-Databricks-Client-Id"
os.environ['DATABRICKS_HOST'] = "Your-Databricks-Host"
w = WorkspaceClient()

# Create Cluster:
cluster = w.clusters.create(cluster_name="Test-Cluster")

# List Clusters:
for cluster in w.clusters.list():
    print(f"Clusters Name: {cluster.cluster_name}")

Clusters Name: Test-Cluster

¹ https://databricks-sdk-py.readthedocs.io/en/latest/clients/workspace.html

Nu kör vi en övning!

Databricks med Python SDK