Premiers pas avec le SDK Databricks

Databricks avec le SDK Python

Avi Steinberg

Software/Data Engineer

Pourquoi apprendre Databricks ?

Photo de profil

  • Plateformes infonuagiques de pointe pour ML, AI et l'ingénierie des données
  • Utilisé par plus de 60 % des entreprises du Fortune 500

Emblème Databricks

1 https://www.databricks.com/company/newsroom/press-releases/databricks-raising-10b-series-j-investment-62b-valuation
Databricks avec le SDK Python

Qu'est-ce qu'un espace de travail Databricks ?

  • Déploiement de ressources infonuagiques Databricks
  • Environnement pour accéder aux ressources Databricks
  • Exemples dans un espace de travail : tâches, grappes et carnets
Databricks avec le SDK Python

Installer le SDK Databricks

Installer le SDK

pip install databricks-sdk

Instancier WorkspaceClient

from databricks.sdk import WorkspaceClient
w = WorkspaceClient()
1 https://docs.databricks.com/en/dev-tools/sdk-python.html#language-venv
Databricks avec le SDK Python

Variables d'environnement d'authentification

  • Variable d'environnement = paire clé/valeur pour configurer le comportement d'une application

  • DATABRICKS_CLIENT_SECRET

  • DATABRICKS_CLIENT_ID
  • DATABRICKS_HOST=<workspace_id>.cloud.databricks.com

Capture d'écran de l'URL Web de l'espace de travail Databricks

Databricks avec le SDK Python

S'authentifier avec un principal de service

  • Principal de service = identité de sécurité dans une plateforme infonuagique représentant une application

  • Créer un principal de service

  • Attribuer des autorisations au principal de service
  • Générer un secret pour le principal de service

Image de la page Secrets pour le principal de service de l'espace de travail Databricks

1 https://docs.databricks.com/en/dev-tools/auth/oauth-m2m.html#step-1-create-a-service-principal
Databricks avec le SDK Python

Authentification par défaut

from databricks.sdk import WorkspaceClient
import os

os.environ['DATABRICKS_CLIENT_SECRET'] = "Your-Client-Secret"
os.environ['DATABRICKS_CLIENT_ID'] = "Your-Databricks-Client-Id"
os.environ['DATABRICKS_HOST'] = "Your-Databricks-Host"
w = WorkspaceClient()
  • Lit automatiquement les valeurs des trois variables d'environnement
Databricks avec le SDK Python

Interagir avec notre espace de travail Databricks

# Authenticate WorkspaceClient
from databricks.sdk import WorkspaceClient
import os
os.environ['DATABRICKS_CLIENT_SECRET'] = "Your-Client-Secret"
os.environ['DATABRICKS_CLIENT_ID'] = "Your-Databricks-Client-Id"
os.environ['DATABRICKS_HOST'] = "Your-Databricks-Host"
w = WorkspaceClient()

# Create Cluster:
cluster = w.clusters.create(cluster_name="Test-Cluster")

# List Clusters:
for cluster in w.clusters.list():
    print(f"Clusters Name: {cluster.cluster_name}")

Clusters Name: Test-Cluster
1 https://databricks-sdk-py.readthedocs.io/en/latest/clients/workspace.html
Databricks avec le SDK Python

Passons à la pratique !

Databricks avec le SDK Python

Preparing Video For Download...