Opérations de base avec le SDK Python Databricks

Databricks avec le SDK Python

Avi Steinberg

Senior Software Engineer

API Databricks Clusters

Qu'est-ce qu'un cluster Databricks ?

Ensemble de ressources de calcul cloud et de configurations
Utilisé pour des charges de travail data intensives
Partagé par plusieurs utilisateurs pour l'analyse collaborative

Exemples :

Pipelines ETL de production
Analytique en streaming

Images de clusters Databricks

L'API Clusters du SDK Databricks permet de créer, démarrer, modifier, lister et supprimer des clusters

Lister les clusters

Voyons un exemple pour lister les clusters créés sur un espace de travail Databricks

from databricks.sdk import WorkspaceClient
w = WorkspaceClient()

clusters = w.clusters.list()

for cluster in clusters:
    print(f"ClusterId={cluster.cluster_id}")

ClusterId=0113-13328-woj98c32

¹ 1. https://databricks-sdk-py.readthedocs.io/en/stable/workspace/compute/clusters.html#databricks.sdk.service.compute.ClustersExt.list

API Databricks Jobs

Qu'est-ce qu'un job Databricks ?

Exécuter du code stocké dans un notebook Databricks sur un cluster Databricks avec des ressources scalables
Tâche unique ou workflow multi-tâches avec dépendances complexes
Programmable à des heures précises via la syntaxe CRON

L'API Jobs permet de créer, modifier et supprimer des jobs

¹ https://docs.databricks.com/api/workspace/jobs

Lister les jobs

Utilisez la méthode .list() pour lister les jobs dans l'Espace de travail de l'utilisateur authentifié

from databricks.sdk import WorkspaceClient
w = WorkspaceClient()
jobs = w.jobs.list()
for job in jobs:
    print(f"JobId={job.job_id}")

JobId=888763141802192
JobId=37050453972815
JobId=681550316180975
JobId=629994089852037

¹ 1. https://databricks-sdk-py.readthedocs.io/en/stable/workspace/jobs/jobs.html

Tableau de bord Databricks Jobs

Les ressources d'un espace de travail sont visibles en ligne sur https://<workspace-deployment-name>.cloud.databricks.com

Tableau de bord Databricks Workspace (UI)

Notebooks Databricks

Exécuter du code Python dans un Notebook Databricks

Capture d'écran d'un Notebook Databricks

Passons à la pratique !

Databricks avec le SDK Python