Databricks SDK'ye giriş

Python SDK ile Databricks

Avi Steinberg

Software/Data Engineer

Neden Databricks?

Profil Fotoğrafı

Önde gelen ML, AI ve Veri Mühendisliği bulut platformu
Fortune 500 şirketlerinin %60'ından fazlası tarafından kullanılıyor

Databricks Amblemi

¹ https://www.databricks.com/company/newsroom/press-releases/databricks-raising-10b-series-j-investment-62b-valuation

Databricks Workspace nedir?

Databricks'in bulut kaynaklarını dağıtımı
Databricks varlıklarına erişim ortamı
Çalışma Alanındaki örnek varlıklar: işler, kümeler, not defterleri

Databricks SDK'yı yükleme

SDK'yı yükleyin

pip install databricks-sdk

WorkspaceClient başlatın

from databricks.sdk import WorkspaceClient
w = WorkspaceClient()

¹ https://docs.databricks.com/en/dev-tools/sdk-python.html#language-venv

Kimlik doğrulama ortam değişkenleri

Ortam değişkeni = Uygulama davranışını yapılandıran anahtar/değer çifti
DATABRICKS_CLIENT_SECRET
DATABRICKS_CLIENT_ID
DATABRICKS_HOST=<workspace_id>.cloud.databricks.com

Databricks Workspace Web URL'sinin ekran görüntüsü

Service Principal ile kimlik doğrulama

Service Principal = Bir uygulamayı temsil eden bulut platformu güvenlik kimliği
Service Principal oluşturun
Service Principal'a izin atayın
Service Principal için secret oluşturun

Databricks Workspace Service Principal için Secrets sayfasının görseli

¹ https://docs.databricks.com/en/dev-tools/auth/oauth-m2m.html#step-1-create-a-service-principal

Varsayılan kimlik doğrulama

from databricks.sdk import WorkspaceClient
import os

os.environ['DATABRICKS_CLIENT_SECRET'] = "Your-Client-Secret"
os.environ['DATABRICKS_CLIENT_ID'] = "Your-Databricks-Client-Id"
os.environ['DATABRICKS_HOST'] = "Your-Databricks-Host"
w = WorkspaceClient()

Üç ortam değişkeninin değerlerini otomatik okur

Databricks çalışma alanıyla etkileşim

# WorkspaceClient ile kimlik doğrula
from databricks.sdk import WorkspaceClient
import os
os.environ['DATABRICKS_CLIENT_SECRET'] = "Your-Client-Secret"
os.environ['DATABRICKS_CLIENT_ID'] = "Your-Databricks-Client-Id"
os.environ['DATABRICKS_HOST'] = "Your-Databricks-Host"
w = WorkspaceClient()

# Küme oluştur:
cluster = w.clusters.create(cluster_name="Test-Cluster")

# Kümeleri listele:
for cluster in w.clusters.list():
    print(f"Clusters Name: {cluster.cluster_name}")

Clusters Name: Test-Cluster

¹ https://databricks-sdk-py.readthedocs.io/en/latest/clients/workspace.html

Hadi pratik yapalım!

Python SDK ile Databricks