Mulai dengan Databricks SDK

Databricks dengan Python SDK

Avi Steinberg

Software/Data Engineer

Mengapa belajar Databricks?

Foto profil

  • Platform cloud terdepan untuk ML, AI, dan rekayasa data
  • Dipakai oleh >60% perusahaan Fortune 500

Lambang Databricks

1 https://www.databricks.com/company/newsroom/press-releases/databricks-raising-10b-series-j-investment-62b-valuation
Databricks dengan Python SDK

Apa itu Databricks Workspace?

  • Penerapan sumber daya cloud Databricks
  • Lingkungan untuk mengakses aset Databricks
  • Contoh aset di Databricks Workspace: jobs, clusters, dan notebooks
Databricks dengan Python SDK

Instal Databricks SDK

Instal SDK

pip install databricks-sdk

Buat instance WorkspaceClient

from databricks.sdk import WorkspaceClient
w = WorkspaceClient()
1 https://docs.databricks.com/en/dev-tools/sdk-python.html#language-venv
Databricks dengan Python SDK

Variabel lingkungan autentikasi

  • Variabel lingkungan = pasangan key/value untuk mengonfigurasi perilaku aplikasi

  • DATABRICKS_CLIENT_SECRET

  • DATABRICKS_CLIENT_ID
  • DATABRICKS_HOST=<workspace_id>.cloud.databricks.com

Tangkapan layar URL Web Databricks Workspace

Databricks dengan Python SDK

Autentikasi menggunakan Service Principal

  • Service Principal = identitas keamanan di platform cloud yang merepresentasikan aplikasi

  • Buat Service Principal

  • Beri izin ke Service Principal
  • Buat secret untuk Service Principal

Gambar halaman Secrets untuk Databricks Workspace Service Principal

1 https://docs.databricks.com/en/dev-tools/auth/oauth-m2m.html#step-1-create-a-service-principal
Databricks dengan Python SDK

Autentikasi default

from databricks.sdk import WorkspaceClient
import os

os.environ['DATABRICKS_CLIENT_SECRET'] = "Your-Client-Secret"
os.environ['DATABRICKS_CLIENT_ID'] = "Your-Databricks-Client-Id"
os.environ['DATABRICKS_HOST'] = "Your-Databricks-Host"
w = WorkspaceClient()
  • Otomatis membaca nilai untuk tiga variabel lingkungan
Databricks dengan Python SDK

Berinteraksi dengan workspace Databricks kita

# Authenticate WorkspaceClient
from databricks.sdk import WorkspaceClient
import os
os.environ['DATABRICKS_CLIENT_SECRET'] = "Your-Client-Secret"
os.environ['DATABRICKS_CLIENT_ID'] = "Your-Databricks-Client-Id"
os.environ['DATABRICKS_HOST'] = "Your-Databricks-Host"
w = WorkspaceClient()

# Create Cluster:
cluster = w.clusters.create(cluster_name="Test-Cluster")

# List Clusters:
for cluster in w.clusters.list():
    print(f"Clusters Name: {cluster.cluster_name}")

Clusters Name: Test-Cluster
1 https://databricks-sdk-py.readthedocs.io/en/latest/clients/workspace.html
Databricks dengan Python SDK

Ayo berlatih!

Databricks dengan Python SDK

Preparing Video For Download...