Začínáme s Databricks SDK

Databricks with the Python SDK

Avi Steinberg

Software/Data Engineer

Proč se učit Databricks?

Profilová fotka

  • Přední cloudové platformy pro ML, AI a datové inženýrství
  • Využívá více než 60 % společností ze žebříčku Fortune 500

Databricks Emblem

1 https://www.databricks.com/company/newsroom/press-releases/databricks-raising-10b-series-j-investment-62b-valuation
Databricks with the Python SDK

Co je Databricks Workspace?

  • Nasazení cloudových prostředků Databricks
  • Prostředí pro přístup k prostředkům Databricks
  • Příklady prostředků v Databricks Workspace: úlohy, clustery a notebooky
Databricks with the Python SDK

Instalace Databricks SDK

Instalace SDK

pip install databricks-sdk

Vytvoření instance WorkspaceClient

from databricks.sdk import WorkspaceClient
w = WorkspaceClient()
1 https://docs.databricks.com/en/dev-tools/sdk-python.html#language-venv
Databricks with the Python SDK

Proměnné prostředí pro ověřování

  • Proměnná prostředí = pár klíč/hodnota pro konfiguraci chování aplikace

  • DATABRICKS_CLIENT_SECRET

  • DATABRICKS_CLIENT_ID
  • DATABRICKS_HOST=<workspace_id>.cloud.databricks.com

Snímek obrazovky s webovou URL Databricks Workspace

Databricks with the Python SDK

Ověření pomocí Service Principal

  • Service Principal = bezpečnostní identita v cloudové platformě reprezentující aplikaci

  • Vytvoření Service Principal

  • Přiřazení oprávnění Service Principal
  • Vygenerování tajného klíče pro Service Principal

Obrázek stránky Secrets pro Service Principal v Databricks Workspace

1 https://docs.databricks.com/en/dev-tools/auth/oauth-m2m.html#step-1-create-a-service-principal
Databricks with the Python SDK

Výchozí ověřování

from databricks.sdk import WorkspaceClient
import os

os.environ['DATABRICKS_CLIENT_SECRET'] = "Your-Client-Secret"
os.environ['DATABRICKS_CLIENT_ID'] = "Your-Databricks-Client-Id"
os.environ['DATABRICKS_HOST'] = "Your-Databricks-Host"
w = WorkspaceClient()
  • Automaticky načte hodnoty tří proměnných prostředí
Databricks with the Python SDK

Práce s Databricks workspace

# Authenticate WorkspaceClient
from databricks.sdk import WorkspaceClient
import os
os.environ['DATABRICKS_CLIENT_SECRET'] = "Your-Client-Secret"
os.environ['DATABRICKS_CLIENT_ID'] = "Your-Databricks-Client-Id"
os.environ['DATABRICKS_HOST'] = "Your-Databricks-Host"
w = WorkspaceClient()

# Create Cluster:
cluster = w.clusters.create(cluster_name="Test-Cluster")

# List Clusters:
for cluster in w.clusters.list():
    print(f"Clusters Name: {cluster.cluster_name}")

Clusters Name: Test-Cluster
1 https://databricks-sdk-py.readthedocs.io/en/latest/clients/workspace.html
Databricks with the Python SDK

Pojďme si procvičit!

Databricks with the Python SDK

Preparing Video For Download...