Databricks Python SDK 기본 작업

Python SDK로 Databricks 다루기

Avi Steinberg

Senior Software Engineer

Databricks Clusters API

Databricks 클러스터란?

클라우드 컴퓨팅 리소스 및 구성의 집합
주로 데이터 집약적 워크로드 실행에 사용
여러 사용자가 공유하여 협업 분석 수행

예시:

프로덕션 ETL 파이프라인
스트리밍 분석

Databricks 클러스터 이미지

Databricks SDK Clusters API를 사용하여 클러스터를 생성, 시작, 편집, 목록 조회 및 삭제할 수 있습니다

클러스터 목록 조회

Databricks 워크스페이스에서 생성된 클러스터 목록을 조회하는 예제를 살펴보겠습니다

from databricks.sdk import WorkspaceClient
w = WorkspaceClient()

clusters = w.clusters.list()

for cluster in clusters:
    print(f"ClusterId={cluster.cluster_id}")

ClusterId=0113-13328-woj98c32

¹ 1. https://databricks-sdk-py.readthedocs.io/en/stable/workspace/compute/clusters.html#databricks.sdk.service.compute.ClustersExt.list

Databricks Jobs API

Databricks 작업이란?

Databricks 클러스터에서 노트북에 저장된 코드를 확장 가능한 리소스로 실행
단일 태스크 또는 복잡한 종속성을 가진 대규모 멀티 태스크 워크플로
CRON 구문을 사용하여 특정 시간에 실행되도록 예약 가능

Jobs API를 사용하여 작업을 생성, 편집 및 삭제할 수 있습니다

¹ https://docs.databricks.com/api/workspace/jobs

작업 목록 조회

.list() 메서드를 사용하여 인증된 사용자의 워크스페이스에서 작업 목록을 조회합니다

from databricks.sdk import WorkspaceClient
w = WorkspaceClient()
jobs = w.jobs.list()
for job in jobs:
    print(f"JobId={job.job_id}")

JobId=888763141802192
JobId=37050453972815
JobId=681550316180975
JobId=629994089852037

¹ 1. https://databricks-sdk-py.readthedocs.io/en/stable/workspace/jobs/jobs.html

Databricks 작업 대시보드

워크스페이스 리소스는 https://<workspace-deployment-name>.cloud.databricks.com에서 온라인으로 확인할 수 있습니다

Databricks 워크스페이스 대시보드 (UI)

Databricks 노트북

Databricks 노트북에서 Python 코드를 실행합니다

Databricks 노트북 스크린샷

직접 실습해 보겠습니다!

Python SDK로 Databricks 다루기