Базовые операции с Databricks Python SDK

Databricks с Python SDK

Avi Steinberg

Senior Software Engineer

Databricks Clusters API

Что такое кластер Databricks?

Набор облачных вычислительных ресурсов и конфигураций
Используется для выполнения ресурсоёмких задач
Доступен нескольким пользователям для совместного анализа

Примеры:

Производственные ETL-пайплайны
Потоковая аналитика

Изображение кластера Databricks

Clusters API Databricks SDK позволяет создавать, запускать, редактировать, просматривать и удалять кластеры

Получение списка кластеров

Рассмотрим пример получения списка кластеров в рабочей области Databricks

from databricks.sdk import WorkspaceClient
w = WorkspaceClient()

clusters = w.clusters.list()

for cluster in clusters:
    print(f"ClusterId={cluster.cluster_id}")

ClusterId=0113-13328-woj98c32

¹ 1. https://databricks-sdk-py.readthedocs.io/en/stable/workspace/compute/clusters.html#databricks.sdk.service.compute.ClustersExt.list

Databricks Jobs API

Что такое задание Databricks?

Выполнение кода из ноутбука Databricks на кластере с масштабируемыми ресурсами
Одна задача или многошаговый рабочий процесс со сложными зависимостями
Поддерживает расписание запуска с использованием синтаксиса CRON

Jobs API позволяет создавать, редактировать и удалять задания

¹ https://docs.databricks.com/api/workspace/jobs

Получение списка заданий

Метод .list() возвращает список заданий в рабочей области аутентифицированного пользователя

from databricks.sdk import WorkspaceClient
w = WorkspaceClient()
jobs = w.jobs.list()
for job in jobs:
    print(f"JobId={job.job_id}")

JobId=888763141802192
JobId=37050453972815
JobId=681550316180975
JobId=629994089852037

¹ 1. https://databricks-sdk-py.readthedocs.io/en/stable/workspace/jobs/jobs.html

Панель управления заданиями Databricks

Ресурсы рабочей области доступны онлайн по адресу https://<workspace-deployment-name>.cloud.databricks.com

Панель управления рабочей области Databricks (UI)

Ноутбуки Databricks

Запуск кода Python в ноутбуке Databricks

Снимок экрана ноутбука Databricks

Давайте потренируемся!

Databricks с Python SDK