Opérations de base avec le SDK Python de Databricks

Databricks avec le SDK Python

Avi Steinberg

Senior Software Engineer

API Databricks Clusters

Qu'est-ce qu'un cluster Databricks ?

Ensemble de ressources et de configurations infonuagiques
Utilisé pour exécuter des charges de travail intensives en données
Partagé par plusieurs utilisateurs pour l'analyse collaborative

Exemples :

Pipelines ETL de production
Analytique en continu

Images de clusters Databricks

L'API Clusters du SDK Databricks permet de créer, démarrer, modifier, lister et supprimer des clusters

Lister des clusters

Passons en revue un exemple pour lister les clusters créés dans un espace de travail Databricks

from databricks.sdk import WorkspaceClient
w = WorkspaceClient()

clusters = w.clusters.list()

for cluster in clusters:
    print(f"ClusterId={cluster.cluster_id}")

ClusterId=0113-13328-woj98c32

¹ 1. https://databricks-sdk-py.readthedocs.io/en/stable/workspace/compute/clusters.html#databricks.sdk.service.compute.ClustersExt.list

API Databricks Jobs

Qu'est-ce qu'un job Databricks ?

Exécuter du code stocké dans un Notebook Databricks sur un cluster Databricks avec des ressources évolutives
Tâche unique ou flux de travail complexe à tâches multiples
Peut être planifié à des heures précises avec la syntaxe CRON

L'API Jobs permet de créer, modifier et supprimer des jobs

¹ https://docs.databricks.com/api/workspace/jobs

Lister des jobs

Utilisez la méthode .list() pour lister les jobs dans l'espace de travail de l'utilisateur authentifié

from databricks.sdk import WorkspaceClient
w = WorkspaceClient()
jobs = w.jobs.list()
for job in jobs:
    print(f"JobId={job.job_id}")

JobId=888763141802192
JobId=37050453972815
JobId=681550316180975
JobId=629994089852037

¹ 1. https://databricks-sdk-py.readthedocs.io/en/stable/workspace/jobs/jobs.html

Tableau de bord Databricks Jobs

Les ressources d'un espace de travail peuvent être visualisées en ligne à l'adresse https://<workspace-deployment-name>.cloud.databricks.com

Tableau de bord de l'espace de travail Databricks (IU)

Notebooks Databricks

Exécuter du code Python dans un Notebook Databricks

Capture d'écran de Notebook Databricks

Passons à la pratique !

Databricks avec le SDK Python