การดำเนินการพื้นฐานด้วย Databricks Python SDK

Databricks กับ Python SDK

Avi Steinberg

Senior Software Engineer

Databricks Clusters API

Databricks Cluster คืออะไร?

ชุดของทรัพยากรและการตั้งค่าคอมพิวต์บนคลาวด์
ใช้รันงานที่ต้องการประมวลผลข้อมูลจำนวนมาก
แชร์ร่วมกันระหว่างผู้ใช้หลายคนเพื่อวิเคราะห์ข้อมูลร่วมกัน

ตัวอย่าง:

Production ETL pipelines
Streaming analytics

ภาพ Databricks Cluster

Databricks SDK Clusters API ช่วยให้สร้าง เริ่ม แก้ไข แสดงรายการ และลบ Cluster ได้

การแสดงรายการ Cluster

ลองดูตัวอย่างการแสดงรายการ Cluster ที่สร้างไว้ใน Databricks Workspace

from databricks.sdk import WorkspaceClient
w = WorkspaceClient()

clusters = w.clusters.list()

for cluster in clusters:
    print(f"ClusterId={cluster.cluster_id}")

ClusterId=0113-13328-woj98c32

¹ 1. https://databricks-sdk-py.readthedocs.io/en/stable/workspace/compute/clusters.html#databricks.sdk.service.compute.ClustersExt.list

Databricks Jobs API

Databricks Job คืออะไร?

รันโค้ดที่เก็บใน Databricks Notebook บน Cluster ที่ขยายทรัพยากรได้
เป็นได้ทั้งงานเดี่ยวหรือ Workflow ขนาดใหญ่ที่มีงานย่อยและ Dependency ซับซ้อน
กำหนดเวลารันด้วย CRON syntax ได้

Jobs API ช่วยให้สร้าง แก้ไข และลบ Job ได้

¹ https://docs.databricks.com/api/workspace/jobs

การแสดงรายการ Job

ใช้เมธอด .list() เพื่อแสดงรายการ Job ใน Workspace ของผู้ใช้ที่ล็อกอินอยู่

from databricks.sdk import WorkspaceClient
w = WorkspaceClient()
jobs = w.jobs.list()
for job in jobs:
    print(f"JobId={job.job_id}")

JobId=888763141802192
JobId=37050453972815
JobId=681550316180975
JobId=629994089852037

¹ 1. https://databricks-sdk-py.readthedocs.io/en/stable/workspace/jobs/jobs.html

Databricks Jobs Dashboard

ดูทรัพยากรต่าง ๆ ใน Workspace ได้ออนไลน์ที่ https://<workspace-deployment-name>.cloud.databricks.com

แดชบอร์ด Databricks Workspace (UI)

Databricks Notebooks

รันโค้ด Python ใน Databricks Notebook

ภาพหน้าจอ Databricks Notebook

มาฝึกกันเถอะ!

Databricks กับ Python SDK