Operações básicas com o SDK Python do Databricks

Databricks com o SDK em Python

Avi Steinberg

Senior Software Engineer

API de Clusters do Databricks

O que é um Cluster do Databricks?

  • Conjunto de recursos de computação em nuvem e configurações
  • Usado para cargas de trabalho intensivas em dados
  • Compartilhado por vários usuários para análise colaborativa

Exemplos:

  • Pipelines ETL de produção
  • Análise de streaming

Imagens de Clusters do Databricks

A Clusters API do SDK do Databricks permite criar, iniciar, editar, listar e excluir clusters

Databricks com o SDK em Python

Listando clusters

Vamos ver um exemplo de como listar os clusters criados em um workspace do Databricks

from databricks.sdk import WorkspaceClient
w = WorkspaceClient()

clusters = w.clusters.list()

for cluster in clusters:
    print(f"ClusterId={cluster.cluster_id}")

ClusterId=0113-13328-woj98c32
1 1. https://databricks-sdk-py.readthedocs.io/en/stable/workspace/compute/clusters.html#databricks.sdk.service.compute.ClustersExt.list
Databricks com o SDK em Python

API de Jobs do Databricks

O que é um job do Databricks?

  • Executa código de um notebook do Databricks em um cluster do Databricks com recursos escaláveis
  • Pode ser uma única tarefa ou um fluxo de trabalho grande, com várias tarefas e dependências complexas
  • Pode ser agendado para horários específicos usando sintaxe CRON

A Jobs API permite criar, editar e excluir jobs

1 https://docs.databricks.com/api/workspace/jobs
Databricks com o SDK em Python

Listando jobs

Use o método .list() para listar os jobs no Workspace do usuário autenticado

from databricks.sdk import WorkspaceClient
w = WorkspaceClient()
jobs = w.jobs.list()
for job in jobs:
    print(f"JobId={job.job_id}")

JobId=888763141802192
JobId=37050453972815
JobId=681550316180975
JobId=629994089852037
1 1. https://databricks-sdk-py.readthedocs.io/en/stable/workspace/jobs/jobs.html
Databricks com o SDK em Python

Painel de Jobs do Databricks

Os recursos de um workspace podem ser visualizados em https://<workspace-deployment-name>.cloud.databricks.com

Painel do Workspace do Databricks (UI)

Databricks com o SDK em Python

Notebooks do Databricks

Execute código Python em um Notebook do Databricks

Captura de tela do Notebook do Databricks

Databricks com o SDK em Python

Vamos praticar!

Databricks com o SDK em Python

Preparing Video For Download...