Operaciones básicas con el SDK de Databricks para Python

Databricks con el SDK de Python

Avi Steinberg

Senior Software Engineer

API de Clusters de Databricks

¿Qué es un clúster de Databricks?

Conjunto de recursos y configuraciones de cómputo en la nube
Se usa para cargas intensivas de datos
Lo comparten varios usuarios para análisis colaborativo

Ejemplos:

Pipelines ETL de producción
Analítica en streaming

Imágenes de clúster de Databricks

La API de Clusters del SDK de Databricks permite crear, iniciar, editar, listar y borrar clústeres

Listar clústeres

Veamos un ejemplo para listar los clústeres creados en un workspace de Databricks

from databricks.sdk import WorkspaceClient
w = WorkspaceClient()

clusters = w.clusters.list()

for cluster in clusters:
    print(f"ClusterId={cluster.cluster_id}")

ClusterId=0113-13328-woj98c32

¹ 1. https://databricks-sdk-py.readthedocs.io/en/stable/workspace/compute/clusters.html#databricks.sdk.service.compute.ClustersExt.list

API de Jobs de Databricks

¿Qué es un job de Databricks?

Ejecuta código de un notebook de Databricks en un clúster de Databricks con recursos escalables
Puede ser una única tarea o un flujo grande con varias tareas y dependencias complejas
Se puede programar para horas específicas con sintaxis CRON

La API de Jobs permite crear, editar y borrar jobs

¹ https://docs.databricks.com/api/workspace/jobs

Listar jobs

Usa el método .list() para listar los jobs del Workspace del usuario autenticado

from databricks.sdk import WorkspaceClient
w = WorkspaceClient()
jobs = w.jobs.list()
for job in jobs:
    print(f"JobId={job.job_id}")

JobId=888763141802192
JobId=37050453972815
JobId=681550316180975
JobId=629994089852037

¹ 1. https://databricks-sdk-py.readthedocs.io/en/stable/workspace/jobs/jobs.html

Panel de Jobs de Databricks

Los recursos de un workspace se pueden ver online en https://<workspace-deployment-name>.cloud.databricks.com

Panel de Jobs de Databricks (UI)

Notebooks de Databricks

Ejecuta código Python en un Notebook de Databricks

Captura de Notebook de Databricks

¡Vamos a practicar!

Databricks con el SDK de Python