Základní operace s Databricks Python SDK

Databricks with the Python SDK

Avi Steinberg

Senior Software Engineer

Clusters API Databricks

Co je cluster Databricks?

Sada cloudových výpočetních prostředků a konfigurací
Určen zejména pro datově náročné úlohy
Sdílen více uživateli pro společnou analýzu

Příklady:

Produkční ETL pipeline
Streamovaná analytika

Obrázky clusterů Databricks

Clusters API sady Databricks SDK umožňuje vytvářet, spouštět, upravovat, zobrazovat a odstraňovat clustery

Výpis clusterů

Ukázka výpisu clusterů vytvořených v pracovním prostoru Databricks

from databricks.sdk import WorkspaceClient
w = WorkspaceClient()

clusters = w.clusters.list()

for cluster in clusters:
    print(f"ClusterId={cluster.cluster_id}")

ClusterId=0113-13328-woj98c32

¹ 1. https://databricks-sdk-py.readthedocs.io/en/stable/workspace/compute/clusters.html#databricks.sdk.service.compute.ClustersExt.list

Jobs API Databricks

Co je úloha Databricks?

Spuštění kódu z notebooku Databricks na clusteru se škálovatelnými prostředky
Jedna úloha nebo rozsáhlý pracovní postup s více úlohami a složitými závislostmi
Lze naplánovat na konkrétní časy pomocí syntaxe CRON

Jobs API umožňuje vytvářet, upravovat a odstraňovat úlohy

¹ https://docs.databricks.com/api/workspace/jobs

Výpis úloh

Pomocí metody .list() zobrazíte úlohy v pracovním prostoru ověřeného uživatele

from databricks.sdk import WorkspaceClient
w = WorkspaceClient()
jobs = w.jobs.list()
for job in jobs:
    print(f"JobId={job.job_id}")

JobId=888763141802192
JobId=37050453972815
JobId=681550316180975
JobId=629994089852037

¹ 1. https://databricks-sdk-py.readthedocs.io/en/stable/workspace/jobs/jobs.html

Řídicí panel úloh Databricks

Prostředky pracovního prostoru lze zobrazit online na adrese https://<workspace-deployment-name>.cloud.databricks.com

Řídicí panel pracovního prostoru Databricks (UI)

Notebooky Databricks

Spuštění kódu Python v notebooku Databricks

Snímek obrazovky notebooku Databricks

Pojďme to vyzkoušet!

Databricks with the Python SDK