Початок роботи з Databricks SDK

Databricks із Python SDK

Avi Steinberg

Software/Data Engineer

Навіщо вивчати Databricks?

Фото профілю

Провідна хмарна платформа для ML, AI та інженерії даних
Використовують понад 60% компаній Fortune 500

Емблема Databricks

¹ https://www.databricks.com/company/newsroom/press-releases/databricks-raising-10b-series-j-investment-62b-valuation

Що таке Databricks Workspace?

Розгортання хмарних ресурсів Databricks
Середовище для доступу до ресурсів Databricks
Приклади ресурсів у Databricks Workspace: jobs, clusters і notebooks

Встановлення Databricks SDK

Встановіть SDK

pip install databricks-sdk

Створіть екземпляр WorkspaceClient

from databricks.sdk import WorkspaceClient
w = WorkspaceClient()

¹ https://docs.databricks.com/en/dev-tools/sdk-python.html#language-venv

Змінні середовища для автентифікації

Змінна середовища = пара ключ/значення для налаштування поведінки застосунку
DATABRICKS_CLIENT_SECRET
DATABRICKS_CLIENT_ID
DATABRICKS_HOST=<workspace_id>.cloud.databricks.com

Знімок екрана: веб-URL Databricks Workspace

Автентифікація через Service Principal

Service Principal = облікова сутність безпеки в хмарній платформі, що представляє застосунок
Створіть Service Principal
Надайте дозволи Service Principal
Згенеруйте секрет для Service Principal

Зображення сторінки Secrets для Service Principal у Databricks Workspace

¹ https://docs.databricks.com/en/dev-tools/auth/oauth-m2m.html#step-1-create-a-service-principal

Стандартна автентифікація

from databricks.sdk import WorkspaceClient
import os

os.environ['DATABRICKS_CLIENT_SECRET'] = "Your-Client-Secret"
os.environ['DATABRICKS_CLIENT_ID'] = "Your-Databricks-Client-Id"
os.environ['DATABRICKS_HOST'] = "Your-Databricks-Host"
w = WorkspaceClient()

Автоматично зчитує значення трьох змінних середовища

Взаємодія з нашим робочим простором Databricks

# Authenticate WorkspaceClient
from databricks.sdk import WorkspaceClient
import os
os.environ['DATABRICKS_CLIENT_SECRET'] = "Your-Client-Secret"
os.environ['DATABRICKS_CLIENT_ID'] = "Your-Databricks-Client-Id"
os.environ['DATABRICKS_HOST'] = "Your-Databricks-Host"
w = WorkspaceClient()

# Create Cluster:
cluster = w.clusters.create(cluster_name="Test-Cluster")

# List Clusters:
for cluster in w.clusters.list():
    print(f"Clusters Name: {cluster.cluster_name}")

Clusters Name: Test-Cluster

¹ https://databricks-sdk-py.readthedocs.io/en/latest/clients/workspace.html

Давайте потренуємось!

Databricks із Python SDK