Grundlegende Aktionen mit dem Databricks Python SDK

Databricks mit dem Python-SDK

Avi Steinberg

Senior Software Engineer

Databricks Clusters API

Was ist ein Databricks-Cluster?

Eine Gruppe von Cloud-Rechnerressourcen und -Konfigurationen
Wird typischerweise für datenintensive Workloads genutzt
Von mehreren Nutzern für kollaborative Analysen geteilt

Beispiele:

Produktive ETL-Pipelines
Streaming-Analysen

Databricks-Cluster-Bilder

Die Databricks SDK Clusters API ermöglicht das Erstellen, Starten, Bearbeiten, Auflisten und Löschen von Clustern

Cluster auflisten

Gehen wir ein Beispiel durch, um die im Databricks-Workspace erstellten Cluster aufzulisten

from databricks.sdk import WorkspaceClient
w = WorkspaceClient()

clusters = w.clusters.list()

for cluster in clusters:
    print(f"ClusterId={cluster.cluster_id}")

ClusterId=0113-13328-woj98c32

¹ 1. https://databricks-sdk-py.readthedocs.io/en/stable/workspace/compute/clusters.html#databricks.sdk.service.compute.ClustersExt.list

Databricks Jobs API

Was ist ein Databricks-Job?

Führt Code aus einem Databricks-Notebook auf einem Databricks-Cluster mit skalierbaren Ressourcen aus
Einzelaufgabe oder großer Workflow mit mehreren Tasks und Abhängigkeiten
Kann per CRON-Syntax zeitgesteuert werden

Die Jobs API ermöglicht das Erstellen, Bearbeiten und Löschen von Jobs

¹ https://docs.databricks.com/api/workspace/jobs

Jobs auflisten

Verwende die Methode .list(), um Jobs im Workspace des authentifizierten Nutzers aufzulisten

from databricks.sdk import WorkspaceClient
w = WorkspaceClient()
jobs = w.jobs.list()
for job in jobs:
    print(f"JobId={job.job_id}")

JobId=888763141802192
JobId=37050453972815
JobId=681550316180975
JobId=629994089852037

¹ 1. https://databricks-sdk-py.readthedocs.io/en/stable/workspace/jobs/jobs.html

Databricks Jobs-Dashboard

Die Ressourcen eines Workspaces sind online sichtbar unter https://<workspace-deployment-name>.cloud.databricks.com

Databricks-Workspace-Dashboard (UI)

Databricks-Notebooks

Python-Code in einem Databricks-Notebook ausführen

Screenshot eines Databricks-Notebooks

Lass uns üben!

Databricks mit dem Python-SDK