Operații de bază cu Databricks Python SDK

Databricks cu Python SDK

Avi Steinberg

Senior Software Engineer

API-ul Databricks Clusters

Ce este un cluster Databricks?

Un set de resurse de calcul cloud și configurații
Utilizat pentru a rula sarcini intensive pe date
Partajat de mai mulți utilizatori pentru analiză colaborativă

Exemple:

Pipeline-uri ETL de producție
Analiză în timp real a fluxurilor de date

Imagini cluster Databricks

API-ul Clusters din Databricks SDK permite crearea, pornirea, editarea, listarea și ștergerea clusterelor

Listarea clusterelor

Exemplu de listare a clusterelor create într-un spațiu de lucru Databricks

from databricks.sdk import WorkspaceClient
w = WorkspaceClient()

clusters = w.clusters.list()

for cluster in clusters:
    print(f"ClusterId={cluster.cluster_id}")

ClusterId=0113-13328-woj98c32

¹ 1. https://databricks-sdk-py.readthedocs.io/en/stable/workspace/compute/clusters.html#databricks.sdk.service.compute.ClustersExt.list

API-ul Databricks Jobs

Ce este un job Databricks?

Rulează cod dintr-un notebook Databricks pe un cluster cu resurse scalabile
Sarcină unică sau flux de lucru complex, cu mai multe sarcini și dependențe
Poate fi programat la ore specifice folosind sintaxa CRON

API-ul Jobs permite crearea, editarea și ștergerea joburilor

¹ https://docs.databricks.com/api/workspace/jobs

Listarea joburilor

Utilizați metoda .list() pentru a lista joburile din spațiul de lucru al utilizatorului autentificat

from databricks.sdk import WorkspaceClient
w = WorkspaceClient()
jobs = w.jobs.list()
for job in jobs:
    print(f"JobId={job.job_id}")

JobId=888763141802192
JobId=37050453972815
JobId=681550316180975
JobId=629994089852037

¹ 1. https://databricks-sdk-py.readthedocs.io/en/stable/workspace/jobs/jobs.html

Panoul de control Databricks Jobs

Resursele unui spațiu de lucru pot fi vizualizate online la https://<workspace-deployment-name>.cloud.databricks.com

Panoul de control Databricks Workspace (UI)

Notebook-uri Databricks

Rulați cod Python într-un Notebook Databricks

Captură de ecran a unui Notebook Databricks

Să exersăm!

Databricks cu Python SDK