Operasi dasar dengan Databricks Python SDK

Databricks dengan Python SDK

Avi Steinberg

Senior Software Engineer

Databricks Clusters API

Apa itu Cluster Databricks?

Kumpulan sumber daya komputasi cloud dan konfigurasinya
Umumnya untuk menjalankan beban kerja data-intensif
Dapat dibagi banyak pengguna untuk analisis kolaboratif

Contoh:

Pipeline ETL produksi
Analitik streaming

Gambar Cluster Databricks

Clusters API pada Databricks SDK memungkinkan Anda membuat, memulai, mengedit, menampilkan daftar, dan menghapus cluster

Menampilkan daftar cluster

Mari meninjau contoh untuk menampilkan daftar cluster yang dibuat pada workspace Databricks

from databricks.sdk import WorkspaceClient
w = WorkspaceClient()

clusters = w.clusters.list()

for cluster in clusters:
    print(f"ClusterId={cluster.cluster_id}")

ClusterId=0113-13328-woj98c32

¹ 1. https://databricks-sdk-py.readthedocs.io/en/stable/workspace/compute/clusters.html#databricks.sdk.service.compute.ClustersExt.list

Databricks Jobs API

Apa itu job Databricks?

Menjalankan kode di notebook Databricks pada cluster Databricks dengan sumber daya yang dapat diskalakan
Satu tugas atau alur kerja besar multi-tugas dengan dependensi kompleks
Dapat dijadwalkan pada waktu tertentu menggunakan sintaks CRON

Jobs API memungkinkan Anda membuat, mengedit, dan menghapus job

¹ https://docs.databricks.com/api/workspace/jobs

Menampilkan daftar job

Gunakan metode .list() untuk menampilkan job di Workspace pengguna yang terautentikasi

from databricks.sdk import WorkspaceClient
w = WorkspaceClient()
jobs = w.jobs.list()
for job in jobs:
    print(f"JobId={job.job_id}")

JobId=888763141802192
JobId=37050453972815
JobId=681550316180975
JobId=629994089852037

¹ 1. https://databricks-sdk-py.readthedocs.io/en/stable/workspace/jobs/jobs.html

Dasbor Databricks Jobs

Sumber daya workspace dapat dilihat daring di https://<workspace-deployment-name>.cloud.databricks.com

Dasbor Workspace Databricks (UI)

Notebook Databricks

Jalankan kode Python di Notebook Databricks

Tangkapan layar Notebook Databricks

Ayo berlatih!

Databricks dengan Python SDK