Basisbewerkingen met de Databricks Python SDK

Databricks met de Python SDK

Avi Steinberg

Senior Software Engineer

Databricks Clusters API

Wat is een Databricks-cluster?

Een set cloudcompute-resources en configuraties
Meestal gebruikt voor data-intensieve workloads
Gedeeld door meerdere gebruikers voor samenwerking

Voorbeelden:

Productie-ETL-pijplijnen
Streaminganalytics

Afbeeldingen van Databricks-clusters

Met de Databricks SDK Clusters API kun je clusters maken, starten, bewerken, weergeven en verwijderen

Clusters weergeven

Laten we een voorbeeld doornemen van het weergeven van clusters in een Databricks-werkruimte

from databricks.sdk import WorkspaceClient
w = WorkspaceClient()

clusters = w.clusters.list()

for cluster in clusters:
    print(f"ClusterId={cluster.cluster_id}")

ClusterId=0113-13328-woj98c32

¹ 1. https://databricks-sdk-py.readthedocs.io/en/stable/workspace/compute/clusters.html#databricks.sdk.service.compute.ClustersExt.list

Databricks Jobs API

Wat is een Databricks-job?

Voer code uit uit een Databricks-notebook op een Databricks-cluster met schaalbare resources
Één taak of een grote workflow met meerdere taken en afhankelijkheden
Planbaar op vaste tijden met CRON-syntax

Met de Jobs API kun je jobs maken, bewerken en verwijderen

¹ https://docs.databricks.com/api/workspace/jobs

Jobs weergeven

Gebruik de methode .list() om de jobs in de Workspace van de geauthenticeerde gebruiker op te sommen

from databricks.sdk import WorkspaceClient
w = WorkspaceClient()
jobs = w.jobs.list()
for job in jobs:
    print(f"JobId={job.job_id}")

JobId=888763141802192
JobId=37050453972815
JobId=681550316180975
JobId=629994089852037

¹ 1. https://databricks-sdk-py.readthedocs.io/en/stable/workspace/jobs/jobs.html

Databricks Jobs-dashboard

De resources van een workspace kun je online bekijken op https://<workspace-deployment-name>.cloud.databricks.com

Dashboard van Databricks-werkruimte (UI)

Databricks-notebooks

Voer Python-code uit in een Databricks-notebook

Screenshot van Databricks-notebook

Laten we oefenen!

Databricks met de Python SDK