Bắt đầu với Databricks SDK

Databricks với Python SDK

Avi Steinberg

Software/Data Engineer

Vì sao học Databricks?

Ảnh hồ sơ

Nền tảng đám mây hàng đầu cho ML, AI và Kỹ thuật dữ liệu
Được hơn 60% công ty Fortune 500 sử dụng

Biểu tượng Databricks

¹ https://www.databricks.com/company/newsroom/press-releases/databricks-raising-10b-series-j-investment-62b-valuation

Databricks Workspace là gì?

Triển khai tài nguyên đám mây của Databricks
Môi trường truy cập tài sản Databricks
Ví dụ tài sản trong Workspace: jobs, clusters, notebooks

Cài đặt Databricks SDK

Cài đặt SDK

pip install databricks-sdk

Khởi tạo WorkspaceClient

from databricks.sdk import WorkspaceClient
w = WorkspaceClient()

¹ https://docs.databricks.com/en/dev-tools/sdk-python.html#language-venv

Biến môi trường xác thực

Biến môi trường = cặp khóa/giá trị dùng để cấu hình hành vi ứng dụng
DATABRICKS_CLIENT_SECRET
DATABRICKS_CLIENT_ID
DATABRICKS_HOST=<workspace_id>.cloud.databricks.com

Ảnh chụp URL Web của Databricks Workspace

Xác thực bằng Service Principal

Service Principal = danh tính bảo mật trong nền tảng đám mây đại diện cho một ứng dụng
Tạo Service Principal
Gán quyền cho Service Principal
Tạo secret cho Service Principal

Hình trang Secrets cho Service Principal của Databricks Workspace

¹ https://docs.databricks.com/en/dev-tools/auth/oauth-m2m.html#step-1-create-a-service-principal

Xác thực mặc định

from databricks.sdk import WorkspaceClient
import os

os.environ['DATABRICKS_CLIENT_SECRET'] = "Your-Client-Secret"
os.environ['DATABRICKS_CLIENT_ID'] = "Your-Databricks-Client-Id"
os.environ['DATABRICKS_HOST'] = "Your-Databricks-Host"
w = WorkspaceClient()

Tự động đọc giá trị của ba biến môi trường

Tương tác với workspace Databricks

# Authenticate WorkspaceClient
from databricks.sdk import WorkspaceClient
import os
os.environ['DATABRICKS_CLIENT_SECRET'] = "Your-Client-Secret"
os.environ['DATABRICKS_CLIENT_ID'] = "Your-Databricks-Client-Id"
os.environ['DATABRICKS_HOST'] = "Your-Databricks-Host"
w = WorkspaceClient()

# Create Cluster:
cluster = w.clusters.create(cluster_name="Test-Cluster")

# List Clusters:
for cluster in w.clusters.list():
    print(f"Clusters Name: {cluster.cluster_name}")

Clusters Name: Test-Cluster

¹ https://databricks-sdk-py.readthedocs.io/en/latest/clients/workspace.html

Ayo berlatih!

Databricks với Python SDK