Начало работы с Databricks SDK

Databricks с Python SDK

Avi Steinberg

Software/Data Engineer

Зачем изучать Databricks?

Фото профиля

  • Ведущие облачные платформы для ML, ИИ и Data Engineering
  • Используются более чем 60% компаний из списка Fortune 500

Логотип Databricks

1 https://www.databricks.com/company/newsroom/press-releases/databricks-raising-10b-series-j-investment-62b-valuation
Databricks с Python SDK

Что такое рабочее пространство Databricks?

  • Развёртывание облачных ресурсов Databricks
  • Среда для доступа к ресурсам Databricks
  • Примеры ресурсов рабочего пространства: задания, кластеры и блокноты
Databricks с Python SDK

Установка Databricks SDK

Установите SDK

pip install databricks-sdk

Создайте экземпляр WorkspaceClient

from databricks.sdk import WorkspaceClient
w = WorkspaceClient()
1 https://docs.databricks.com/en/dev-tools/sdk-python.html#language-venv
Databricks с Python SDK

Переменные среды для аутентификации

  • Переменная среды — пара «ключ/значение» для настройки поведения приложения

  • DATABRICKS_CLIENT_SECRET

  • DATABRICKS_CLIENT_ID
  • DATABRICKS_HOST=<workspace_id>.cloud.databricks.com

Снимок экрана с URL рабочего пространства Databricks

Databricks с Python SDK

Аутентификация с помощью субъекта-службы

  • Субъект-служба — идентификатор безопасности в облачной платформе, представляющий приложение

  • Создайте субъект-службу

  • Назначьте разрешения субъекту-службе
  • Сгенерируйте секрет для субъекта-службы

Страница секретов субъекта-службы в рабочем пространстве Databricks

1 https://docs.databricks.com/en/dev-tools/auth/oauth-m2m.html#step-1-create-a-service-principal
Databricks с Python SDK

Аутентификация по умолчанию

from databricks.sdk import WorkspaceClient
import os

os.environ['DATABRICKS_CLIENT_SECRET'] = "Your-Client-Secret"
os.environ['DATABRICKS_CLIENT_ID'] = "Your-Databricks-Client-Id"
os.environ['DATABRICKS_HOST'] = "Your-Databricks-Host"
w = WorkspaceClient()
  • Автоматически считывает значения трёх переменных среды
Databricks с Python SDK

Взаимодействие с рабочим пространством Databricks

# Authenticate WorkspaceClient
from databricks.sdk import WorkspaceClient
import os
os.environ['DATABRICKS_CLIENT_SECRET'] = "Your-Client-Secret"
os.environ['DATABRICKS_CLIENT_ID'] = "Your-Databricks-Client-Id"
os.environ['DATABRICKS_HOST'] = "Your-Databricks-Host"
w = WorkspaceClient()

# Create Cluster:
cluster = w.clusters.create(cluster_name="Test-Cluster")

# List Clusters:
for cluster in w.clusters.list():
    print(f"Clusters Name: {cluster.cluster_name}")

Clusters Name: Test-Cluster
1 https://databricks-sdk-py.readthedocs.io/en/latest/clients/workspace.html
Databricks с Python SDK

Давайте потренируемся!

Databricks с Python SDK

Preparing Video For Download...