Các thao tác cơ bản với Databricks Python SDK

Databricks với Python SDK

Avi Steinberg

Senior Software Engineer

Databricks Clusters API

Databricks Cluster là gì?

Tập hợp tài nguyên tính toán đám mây và cấu hình
Thường dùng để chạy tải công việc dữ liệu lớn
Nhiều người dùng dùng chung để phân tích cộng tác

Ví dụ:

Pipeline ETL sản xuất
Phân tích streaming

Hình ảnh Databricks Cluster

Databricks SDK Clusters API cho phép tạo, khởi động, sửa, liệt kê và xóa cluster

Liệt kê clusters

Cùng xem ví dụ liệt kê các cluster đã tạo trong một workspace Databricks

from databricks.sdk import WorkspaceClient
w = WorkspaceClient()

clusters = w.clusters.list()

for cluster in clusters:
    print(f"ClusterId={cluster.cluster_id}")

ClusterId=0113-13328-woj98c32

¹ 1. https://databricks-sdk-py.readthedocs.io/en/stable/workspace/compute/clusters.html#databricks.sdk.service.compute.ClustersExt.list

Databricks Jobs API

Databricks job là gì?

Chạy mã trong notebook Databricks trên cluster Databricks với tài nguyên mở rộng
Có thể là tác vụ đơn hoặc workflow lớn, nhiều tác vụ với phụ thuộc phức tạp
Có thể lập lịch chạy theo thời điểm cụ thể bằng cú pháp CRON

Jobs API cho phép tạo, chỉnh sửa và xóa job

¹ https://docs.databricks.com/api/workspace/jobs

Liệt kê jobs

Dùng phương thức .list() để liệt kê các job trong Workspace của người dùng đã xác thực

from databricks.sdk import WorkspaceClient
w = WorkspaceClient()
jobs = w.jobs.list()
for job in jobs:
    print(f"JobId={job.job_id}")

JobId=888763141802192
JobId=37050453972815
JobId=681550316180975
JobId=629994089852037

¹ 1. https://databricks-sdk-py.readthedocs.io/en/stable/workspace/jobs/jobs.html

Bảng điều khiển Databricks Jobs

Tài nguyên của workspace có thể xem trực tuyến tại https://<workspace-deployment-name>.cloud.databricks.com

Bảng điều khiển Databricks Workspace (UI)

Databricks Notebooks

Chạy mã Python trong Notebook Databricks

Ảnh chụp màn hình Databricks Notebook

Hãy thử ngay!

Databricks với Python SDK