Grundläggande operationer med Databricks Python SDK

Databricks med Python SDK

Avi Steinberg

Senior Software Engineer

Databricks Clusters API

Vad är ett Databricks-kluster?

En uppsättning molnberäkningsresurser och konfigurationer
Används vanligtvis för dataintensiva arbetsbelastningar
Delas av flera användare för gemensam analys

Exempel:

ETL-pipelines i produktion
Strömningsanalys

Bilder på Databricks-kluster

Databricks SDK Clusters API låter dig skapa, starta, redigera, lista och ta bort kluster

Lista kluster

Vi går igenom ett exempel på hur du listar kluster i en Databricks-arbetsyta

from databricks.sdk import WorkspaceClient
w = WorkspaceClient()

clusters = w.clusters.list()

for cluster in clusters:
    print(f"ClusterId={cluster.cluster_id}")

ClusterId=0113-13328-woj98c32

¹ 1. https://databricks-sdk-py.readthedocs.io/en/stable/workspace/compute/clusters.html#databricks.sdk.service.compute.ClustersExt.list

Databricks Jobs API

Vad är ett Databricks-jobb?

Kör kod i en Databricks-notebook på ett kluster med skalbara resurser
En enskild uppgift eller ett komplext flerstegarbetsflöde
Kan schemaläggas för specifika tider med CRON-syntax

Jobs API låter dig skapa, redigera och ta bort jobb

¹ https://docs.databricks.com/api/workspace/jobs

Lista jobb

Använd metoden .list() för att lista jobben i den autentiserade användarens arbetsyta

from databricks.sdk import WorkspaceClient
w = WorkspaceClient()
jobs = w.jobs.list()
for job in jobs:
    print(f"JobId={job.job_id}")

JobId=888763141802192
JobId=37050453972815
JobId=681550316180975
JobId=629994089852037

¹ 1. https://databricks-sdk-py.readthedocs.io/en/stable/workspace/jobs/jobs.html

Databricks Jobs Dashboard

Arbetsytans resurser kan visualiseras online på https://<workspace-deployment-name>.cloud.databricks.com

Databricks arbetsytans instrumentpanel (UI)

Databricks Notebooks

Kör Python-kod i en Databricks-notebook

Skärmbild av Databricks-notebook

Nu kör vi en övning!

Databricks med Python SDK