Operazioni di base con il Databricks Python SDK

Databricks con il Python SDK

Avi Steinberg

Senior Software Engineer

Databricks Clusters API

Cos'è un cluster Databricks?

Insieme di risorse cloud e configurazioni
Usato per carichi di lavoro data‑intensive
Condiviso da più utenti per analisi collaborative

Esempi:

Pipeline ETL di produzione
Analytics in streaming

Immagini di cluster Databricks

La Clusters API del Databricks SDK permette di creare, avviare, modificare, elencare e eliminare cluster

Elencare i cluster

Vediamo un esempio per elencare i cluster creati in un workspace Databricks

from databricks.sdk import WorkspaceClient
w = WorkspaceClient()

clusters = w.clusters.list()

for cluster in clusters:
    print(f"ClusterId={cluster.cluster_id}")

ClusterId=0113-13328-woj98c32

¹ 1. https://databricks-sdk-py.readthedocs.io/en/stable/workspace/compute/clusters.html#databricks.sdk.service.compute.ClustersExt.list

Databricks Jobs API

Cos'è un job Databricks?

Esegue codice di un notebook Databricks su un cluster Databricks con risorse scalabili
Singolo task o workflow ampio multi‑task con dipendenze complesse
Pianificabile a orari specifici con sintassi CRON

La Jobs API permette di creare, modificare e eliminare job

¹ https://docs.databricks.com/api/workspace/jobs

Elencare i job

Usa il metodo .list() per elencare i job nel Workspace dell'utente autenticato

from databricks.sdk import WorkspaceClient
w = WorkspaceClient()
jobs = w.jobs.list()
for job in jobs:
    print(f"JobId={job.job_id}")

JobId=888763141802192
JobId=37050453972815
JobId=681550316180975
JobId=629994089852037

¹ 1. https://databricks-sdk-py.readthedocs.io/en/stable/workspace/jobs/jobs.html

Dashboard Jobs di Databricks

Le risorse di un workspace sono visibili online su https://<workspace-deployment-name>.cloud.databricks.com

Dashboard Workspace di Databricks (UI)

Notebook Databricks

Esegui codice Python in un Notebook Databricks

Screenshot di un Notebook Databricks

Proviamolo!

Databricks con il Python SDK