Premiers pas avec le SDK Databricks

Databricks avec le SDK Python

Avi Steinberg

Software/Data Engineer

Pourquoi apprendre Databricks ?

Photo de profil

  • Plateforme cloud leader pour ML, IA et data engineering
  • Utilisée par plus de 60 % des entreprises du Fortune 500

Emblème Databricks

1 https://www.databricks.com/company/newsroom/press-releases/databricks-raising-10b-series-j-investment-62b-valuation
Databricks avec le SDK Python

Qu'est-ce qu'un workspace Databricks ?

  • Déploiement Databricks de ressources cloud
  • Environnement d'accès aux ressources Databricks
  • Exemples d'actifs dans le workspace : jobs, clusters, notebooks
Databricks avec le SDK Python

Installer le SDK Databricks

Installer le SDK

pip install databricks-sdk

Instancier WorkspaceClient

from databricks.sdk import WorkspaceClient
w = WorkspaceClient()
1 https://docs.databricks.com/en/dev-tools/sdk-python.html#language-venv
Databricks avec le SDK Python

Variables d'environnement d'authentification

  • Variable d'environnement = paire clé/valeur pour configurer le comportement d'une application

  • DATABRICKS_CLIENT_SECRET

  • DATABRICKS_CLIENT_ID
  • DATABRICKS_HOST=<workspace_id>.cloud.databricks.com

Capture d'écran de l'URL Web du workspace Databricks

Databricks avec le SDK Python

S'authentifier avec un Service Principal

  • Service Principal = identité de sécurité dans le cloud représentant une application

  • Créer un Service Principal

  • Attribuer des autorisations au Service Principal
  • Générer un secret pour le Service Principal

Image de la page Secrets pour le Service Principal du workspace Databricks

1 https://docs.databricks.com/en/dev-tools/auth/oauth-m2m.html#step-1-create-a-service-principal
Databricks avec le SDK Python

Authentification par défaut

from databricks.sdk import WorkspaceClient
import os

os.environ['DATABRICKS_CLIENT_SECRET'] = "Your-Client-Secret"
os.environ['DATABRICKS_CLIENT_ID'] = "Your-Databricks-Client-Id"\os.environ['DATABRICKS_HOST'] = "Your-Databricks-Host"
w = WorkspaceClient()
  • Lit automatiquement les valeurs des trois variables d'environnement
Databricks avec le SDK Python

Interagir avec notre workspace Databricks

# Authentifier WorkspaceClient
from databricks.sdk import WorkspaceClient
import os
os.environ['DATABRICKS_CLIENT_SECRET'] = "Your-Client-Secret"
os.environ['DATABRICKS_CLIENT_ID'] = "Your-Databricks-Client-Id"
os.environ['DATABRICKS_HOST'] = "Your-Databricks-Host"
w = WorkspaceClient()

# Créer un cluster :
cluster = w.clusters.create(cluster_name="Test-Cluster")

# Lister les clusters :
for cluster in w.clusters.list():
    print(f"Nom du cluster : {cluster.cluster_name}")

Nom du cluster : Test-Cluster
1 https://databricks-sdk-py.readthedocs.io/en/latest/clients/workspace.html
Databricks avec le SDK Python

Passons à la pratique !

Databricks avec le SDK Python

Preparing Video For Download...