Podstawowe operacje z Databricks Python SDK

Databricks z Python SDK

Avi Steinberg

Senior Software Engineer

Databricks Clusters API

Czym jest klaster Databricks?

Zestaw zasobów obliczeniowych w chmurze i konfiguracji
Służy głównie do uruchamiania zadań wymagających dużych zasobów
Współdzielony przez wielu użytkowników do wspólnych analiz

Przykłady:

Produkcyjne potoki ETL
Analityka strumieniowa

Obrazy klastrów Databricks

Databricks SDK Clusters API umożliwia tworzenie, uruchamianie, edytowanie, listowanie i usuwanie klastrów

Listowanie klastrów

Przejdźmy przez przykład listowania klastrów utworzonych w obszarze roboczym Databricks

from databricks.sdk import WorkspaceClient
w = WorkspaceClient()

clusters = w.clusters.list()

for cluster in clusters:
    print(f"ClusterId={cluster.cluster_id}")

ClusterId=0113-13328-woj98c32

¹ 1. https://databricks-sdk-py.readthedocs.io/en/stable/workspace/compute/clusters.html#databricks.sdk.service.compute.ClustersExt.list

Databricks Jobs API

Czym jest zadanie Databricks?

Uruchamia kod z notatnika Databricks na klastrze ze skalowalnymi zasobami
Może być pojedynczym zadaniem lub rozbudowanym, wieloetapowym przepływem pracy ze złożonymi zależnościami
Można je zaplanować na określony czas przy użyciu składni CRON

Jobs API umożliwia tworzenie, edytowanie i usuwanie zadań

¹ https://docs.databricks.com/api/workspace/jobs

Listowanie zadań

Metoda .list() wyświetla zadania w obszarze roboczym uwierzytelnionego użytkownika

from databricks.sdk import WorkspaceClient
w = WorkspaceClient()
jobs = w.jobs.list()
for job in jobs:
    print(f"JobId={job.job_id}")

JobId=888763141802192
JobId=37050453972815
JobId=681550316180975
JobId=629994089852037

¹ 1. https://databricks-sdk-py.readthedocs.io/en/stable/workspace/jobs/jobs.html

Panel zadań Databricks

Zasoby obszaru roboczego możesz przeglądać online pod adresem https://<workspace-deployment-name>.cloud.databricks.com

Panel zadań Databricks (UI)

Notatniki Databricks

Uruchamianie kodu Pythona w notatniku Databricks

Zrzut ekranu notatnika Databricks

Czas na praktykę!

Databricks z Python SDK