Databricks Python SDK ile temel işlemler

Python SDK ile Databricks

Avi Steinberg

Senior Software Engineer

Databricks Clusters API

Databricks Cluster nedir?

Bulut bilgi işlem kaynakları ve yapılandırmalarının bir kümesi
Genelde veri yoğun iş yüklerini çalıştırmak için kullanılır
İş birliği için birden çok kullanıcı tarafından paylaşılır

Örnekler:

Üretim ETL boru hatları
Akış analitiği

Databricks Cluster Görselleri

Databricks SDK Clusters API; cluster oluşturma, başlatma, düzenleme, listeleme ve silmeye olanak tanır

Cluster'ları listeleme

Bir Databricks çalışma alanında oluşturulan cluster'ları listeleme örneğini adım adım inceleyelim

from databricks.sdk import WorkspaceClient
w = WorkspaceClient()

clusters = w.clusters.list()

for cluster in clusters:
    print(f"ClusterId={cluster.cluster_id}")

ClusterId=0113-13328-woj98c32

¹ 1. https://databricks-sdk-py.readthedocs.io/en/stable/workspace/compute/clusters.html#databricks.sdk.service.compute.ClustersExt.list

Databricks Jobs API

Databricks job nedir?

Ölçeklenebilir kaynaklı bir Databricks cluster'ında, Databricks notebook'unda saklanan kodu çalıştırır
Tek görevli olabilir veya karmaşık bağımlılıkları olan çok görevli bir iş akışı olabilir
CRON söz dizimiyle belirli zamanlarda çalışacak şekilde zamanlanabilir

Jobs API; job oluşturma, düzenleme ve silmeye olanak tanır

¹ https://docs.databricks.com/api/workspace/jobs

İşleri listeleme

Kimliği doğrulanmış kullanıcının Çalışma Alanındaki işleri listelemek için .list() yöntemini kullanın

from databricks.sdk import WorkspaceClient
w = WorkspaceClient()
jobs = w.jobs.list()
for job in jobs:
    print(f"JobId={job.job_id}")

JobId=888763141802192
JobId=37050453972815
JobId=681550316180975
JobId=629994089852037

¹ 1. https://databricks-sdk-py.readthedocs.io/en/stable/workspace/jobs/jobs.html

Databricks Jobs Panosu

Bir çalışma alanının kaynakları çevrimiçi olarak şu adreste görüntülenebilir: https://<workspace-deployment-name>.cloud.databricks.com

Databricks Çalışma Alanı Panosu (UI)

Databricks Notebook'ları

Databricks Notebook'ta Python kodu çalıştırın

Databricks Notebook ekran görüntüsü

Hadi deneyelim!

Python SDK ile Databricks