使用 Databricks Python SDK 的基本操作

使用 Python SDK 的 Databricks

Avi Steinberg

Senior Software Engineer

Databricks Clusters API

什么是 Databricks 集群？

  • 一组云计算资源与配置
  • 通常用于运行数据密集型工作负载
  • 由多位用户共享以协作分析

示例：

  • 生产 ETL 流水线
  • 流式分析

Databricks 集群图片

Databricks SDK 的 Clusters API 可用于创建、启动、编辑、列出和删除集群

使用 Python SDK 的 Databricks

列出集群

下面演示如何列出某个 Databricks 工作区中创建的集群

from databricks.sdk import WorkspaceClient
w = WorkspaceClient()

clusters = w.clusters.list()

for cluster in clusters:
    print(f"ClusterId={cluster.cluster_id}")

ClusterId=0113-13328-woj98c32
1 1. https://databricks-sdk-py.readthedocs.io/en/stable/workspace/compute/clusters.html#databricks.sdk.service.compute.ClustersExt.list
使用 Python SDK 的 Databricks

Databricks Jobs API

什么是 Databricks 作业？

  • 在具备可扩展资源的 Databricks 集群上运行 Databricks 笔记本中的代码
  • 可为单个任务，或含复杂依赖的大型多任务工作流
  • 可使用 CRON 语法定时运行

Jobs API 可用于创建、编辑和删除作业

1 https://docs.databricks.com/api/workspace/jobs
使用 Python SDK 的 Databricks

列出作业

使用 .list() 方法列出已认证用户工作区中的作业

from databricks.sdk import WorkspaceClient
w = WorkspaceClient()
jobs = w.jobs.list()
for job in jobs:
    print(f"JobId={job.job_id}")

JobId=888763141802192
JobId=37050453972815
JobId=681550316180975
JobId=629994089852037
1 1. https://databricks-sdk-py.readthedocs.io/en/stable/workspace/jobs/jobs.html
使用 Python SDK 的 Databricks

Databricks 作业仪表板

可在 https://<workspace-deployment-name>.cloud.databricks.com 在线查看工作区资源

Databricks 工作区仪表板（UI）

使用 Python SDK 的 Databricks

Databricks 笔记本

在 Databricks Notebook 中运行 Python 代码

Databricks Notebook 截图

使用 Python SDK 的 Databricks

让我们试试！

使用 Python SDK 的 Databricks

Preparing Video For Download...