使用 Databricks Python SDK 的基本操作

使用 Python SDK 的 Databricks

Avi Steinberg

Senior Software Engineer

Databricks Clusters API

什麼是 Databricks 叢集？

  • 一組雲端運算資源與設定
  • 通常用於執行高資料量工作負載
  • 多位使用者可共用以協作分析

範例：

  • 產線 ETL 管線
  • 串流分析

Databricks 叢集圖片

Databricks SDK 的 Clusters API 可用來建立、啟動、編輯、列出與刪除叢集

使用 Python SDK 的 Databricks

列出叢集

讓我們逐步示範如何列出 Databricks 工作區中已建立的叢集

from databricks.sdk import WorkspaceClient
w = WorkspaceClient()

clusters = w.clusters.list()

for cluster in clusters:
    print(f"ClusterId={cluster.cluster_id}")

ClusterId=0113-13328-woj98c32
1 1. https://databricks-sdk-py.readthedocs.io/en/stable/workspace/compute/clusters.html#databricks.sdk.service.compute.ClustersExt.list
使用 Python SDK 的 Databricks

Databricks Jobs API

什麼是 Databricks 作業（job）？

  • 在資源可擴充的 Databricks 叢集上，執行存於 Databricks Notebook 的程式碼
  • 可為單一任務，或具複雜相依的大型多任務工作流程
  • 可用 CRON 語法排程於特定時間執行

Jobs API 可用來建立、編輯與刪除作業

1 https://docs.databricks.com/api/workspace/jobs
使用 Python SDK 的 Databricks

列出作業

使用 .list() 方法列出已驗證使用者工作區中的作業

from databricks.sdk import WorkspaceClient
w = WorkspaceClient()
jobs = w.jobs.list()
for job in jobs:
    print(f"JobId={job.job_id}")

JobId=888763141802192
JobId=37050453972815
JobId=681550316180975
JobId=629994089852037
1 1. https://databricks-sdk-py.readthedocs.io/en/stable/workspace/jobs/jobs.html
使用 Python SDK 的 Databricks

Databricks Jobs 儀表板

可在 https://<workspace-deployment-name>.cloud.databricks.com 線上檢視工作區資源

Databricks 工作區儀表板（UI）

使用 Python SDK 的 Databricks

Databricks Notebooks

在 Databricks Notebook 中執行 Python 程式碼

Databricks Notebook 螢幕截圖

使用 Python SDK 的 Databricks

一起來練習吧！

使用 Python SDK 的 Databricks

Preparing Video For Download...