Küme oluşturma ve yönetimi

Python SDK ile Databricks

Avi Steinberg

Senior Software Engineer

Sunucusuz vs. yönetilen altyapı

Sunucusuz

Tamamen Databricks tarafından yönetilen altyapıda çalışır
Altyapı yerine koda odaklanın
İsteğe bağlı hesaplama için ödeme yapın

Yönetilen

Yapılandırma üzerinde daha fazla kontrol
Uzun süreli işler veya öngörülebilir iş yükleri için daha uygun maliyetli

Bir Databricks Spark kümesi oluşturma

from databricks.sdk import WorkspaceClient

w = WorkspaceClient()
cluster = w.clusters.create(
    cluster_name="datacamp-cluster-name",

    spark_version="latest",

    autotermination_minutes=20,

    num_workers=3,
).result()

¹ https://databricks-sdk-py.readthedocs.io/en/latest/workspace/compute/clusters.html

Kümeleri listeleme

from databricks.sdk import WorkspaceClient
# WorkspaceClient başlatın
w = WorkspaceClient()

# Çalışma alanındaki her kümenin kimliğini yazdırın
clusters = w.clusters.list()
for cluster in clusters:
    print(f"ClusterId={cluster.cluster_id}")

Output:

ClusterId=0113-13328-woj98c32

¹ https://databricks-sdk-py.readthedocs.io/en/latest/workspace/compute/clusters.html

Bir kümeyi başlatma

from databricks.sdk import WorkspaceClient
import os

w = WorkspaceClient()
cluster_id=os.environ["DATABRICKS_CLUSTER_ID"]

# cluster_id değişkenindeki kimliğe sahip kümeyi başlatın
try:
  w.clusters.start(cluster_id=cluster_id).result()
except: 
  print(f"Cannot start cluster_id={cluster_id} because it is already running")

¹ https://databricks-sdk-py.readthedocs.io/en/latest/workspace/compute/clusters.html

Bir kümenin durumunu kontrol etme

from databricks.sdk import WorkspaceClient
import os

w = WorkspaceClient()

# Kümenin durumunu yazdırın
cluster_info = w.clusters.get(cluster_id=os.environ["DATABRICKS_CLUSTER_ID"])
print(f"cluster state={cluster_info.state}")

Output:

cluster state=State.RUNNING

¹ https://databricks-sdk-py.readthedocs.io/en/latest/workspace/compute/clusters.html

Bir kümeyi silme

from databricks.sdk import WorkspaceClient
import os

w = WorkspaceClient()
# Ortam değişkeninde saklı kimliğe sahip Databricks kümesini silin
w.clusters.delete(cluster_id=os.environ["DATABRICKS_CLUSTER_ID"])


cluster_info = w.clusters.get(cluster_id=os.environ["DATABRICKS_CLUSTER_ID"])
print(f"cluster state={cluster_info.state}")

Output: 
cluster state=State.TERMINATED

Haydi pratik yapalım!

Python SDK ile Databricks