Базові операції з Databricks Python SDK

Databricks із Python SDK

Avi Steinberg

Senior Software Engineer

Databricks Clusters API

Що таке кластер Databricks?

Набір хмарних обчислювальних ресурсів і конфігурацій
Зазвичай використовується для ресурсоємних обчислень з даними
Спільний для кількох користувачів для спільного аналізу

Приклади:

Продуктивні ETL‑конвеєри
Стримінгова аналітика

Зображення кластера Databricks

Clusters API у Databricks SDK дає змогу створювати, запускати, редагувати, перелічувати та видаляти кластери

Перелік кластерів

Розгляньмо приклад переліку кластерів, створених у робочому просторі Databricks

from databricks.sdk import WorkspaceClient
w = WorkspaceClient()

clusters = w.clusters.list()

for cluster in clusters:
    print(f"ClusterId={cluster.cluster_id}")

ClusterId=0113-13328-woj98c32

¹ 1. https://databricks-sdk-py.readthedocs.io/en/stable/workspace/compute/clusters.html#databricks.sdk.service.compute.ClustersExt.list

Databricks Jobs API

Що таке робота (job) Databricks?

Запускає код із нотатника Databricks на кластері Databricks із масштабованими ресурсами
Одна задача або великий робочий процес із кількох задач зі складними залежностями
Може виконуватися за розкладом у визначений час за синтаксисом CRON

Jobs API дає змогу створювати, редагувати та видаляти роботи

¹ https://docs.databricks.com/api/workspace/jobs

Перелік робіт

Скористайтеся методом .list(), щоб перелічити роботи у Workspace автентифікованого користувача

from databricks.sdk import WorkspaceClient
w = WorkspaceClient()
jobs = w.jobs.list()
for job in jobs:
    print(f"JobId={job.job_id}")

JobId=888763141802192
JobId=37050453972815
JobId=681550316180975
JobId=629994089852037

¹ 1. https://databricks-sdk-py.readthedocs.io/en/stable/workspace/jobs/jobs.html

Панель Jobs у Databricks

Ресурси робочого простору можна переглянути онлайн за адресою https://<workspace-deployment-name>.cloud.databricks.com

Панель керування робочим простором Databricks (UI)

Нотатники Databricks

Запускайте код Python у нотатнику Databricks

Знімок екрана нотатника Databricks

Давайте потренуємось!

Databricks із Python SDK