เริ่มต้นใช้งาน Databricks SDK

Databricks กับ Python SDK

Avi Steinberg

Software/Data Engineer

ทำไมต้องเรียน Databricks?

รูปโปรไฟล์

แพลตฟอร์มคลาวด์ชั้นนำสำหรับ ML, AI และ Data Engineering
ใช้งานโดยบริษัทใน Fortune 500 กว่า 60%

โลโก้ Databricks

¹ https://www.databricks.com/company/newsroom/press-releases/databricks-raising-10b-series-j-investment-62b-valuation

Databricks Workspace คืออะไร?

การ deploy ทรัพยากรคลาวด์ของ Databricks
สภาพแวดล้อมสำหรับเข้าถึง Databricks assets
ตัวอย่าง assets ใน Databricks Workspace: jobs, clusters และ notebooks

ติดตั้ง Databricks SDK

ติดตั้ง SDK

pip install databricks-sdk

สร้าง instance ของ WorkspaceClient

from databricks.sdk import WorkspaceClient
w = WorkspaceClient()

¹ https://docs.databricks.com/en/dev-tools/sdk-python.html#language-venv

Environment variables สำหรับการยืนยันตัวตน

Environment variable = คู่ key/value สำหรับกำหนดค่าการทำงานของแอปพลิเคชัน
DATABRICKS_CLIENT_SECRET
DATABRICKS_CLIENT_ID
DATABRICKS_HOST=<workspace_id>.cloud.databricks.com

ภาพหน้าจอ URL ของ Databricks Workspace

ยืนยันตัวตนด้วย Service Principal

Service Principal = ตัวตนด้านความปลอดภัยบนแพลตฟอร์มคลาวด์ที่แทนแอปพลิเคชัน
สร้าง Service Principal
กำหนดสิทธิ์ให้ Service Principal
สร้าง secret สำหรับ Service Principal

ภาพหน้า Secrets ของ Service Principal ใน Databricks Workspace

¹ https://docs.databricks.com/en/dev-tools/auth/oauth-m2m.html#step-1-create-a-service-principal

การยืนยันตัวตนแบบ default

from databricks.sdk import WorkspaceClient
import os

os.environ['DATABRICKS_CLIENT_SECRET'] = "Your-Client-Secret"
os.environ['DATABRICKS_CLIENT_ID'] = "Your-Databricks-Client-Id"
os.environ['DATABRICKS_HOST'] = "Your-Databricks-Host"
w = WorkspaceClient()

อ่านค่า environment variables ทั้งสามโดยอัตโนมัติ

โต้ตอบกับ Databricks Workspace

# Authenticate WorkspaceClient
from databricks.sdk import WorkspaceClient
import os
os.environ['DATABRICKS_CLIENT_SECRET'] = "Your-Client-Secret"
os.environ['DATABRICKS_CLIENT_ID'] = "Your-Databricks-Client-Id"
os.environ['DATABRICKS_HOST'] = "Your-Databricks-Host"
w = WorkspaceClient()

# Create Cluster:
cluster = w.clusters.create(cluster_name="Test-Cluster")

# List Clusters:
for cluster in w.clusters.list():
    print(f"Clusters Name: {cluster.cluster_name}")

Clusters Name: Test-Cluster

¹ https://databricks-sdk-py.readthedocs.io/en/latest/clients/workspace.html

มาฝึกกันเถอะ!

Databricks กับ Python SDK