Delta Sharing: 유형과 트레이드오프

Databricks Lakehouse 입문

Gang Wang

Senior Data Scientist

두 가지 공유 방식

$$

비교: 네이티브 공유 vs 오픈 프로토콜 공유

$$

  • 네이티브 공유 - Databricks 간 공유
    • Unity Catalog 원활한 통합
    • 양측 완전한 거버넌스
  • 오픈 프로토콜 - 모든 플랫폼 지원
    • Spark, pandas, Power BI, Snowflake
    • 설정이 더 필요하지만 더 넓은 범위
Databricks Lakehouse 입문

Databricks 네이티브 공유

$$

  • 양측 모두 Databricks 고객
  • 공유 데이터가 수신자의 Unity Catalog에 표시됨
  • 양측 완전한 거버넌스
  • 설정 최소화 - 공유 생성 및 접근 권한 부여만 하면 됨

$$

두 Databricks 워크스페이스 간의 원활한 직접 연결을 나타내는, 빛나는 다리로 연결된 두 현대 건물

Databricks Lakehouse 입문

오픈 프로토콜 공유

$$

# Recipient's code (using pandas)
import delta_sharing

profile = "config.share"
client = delta_sharing.SharingClient(
    profile
)
tables = client.list_all_tables()
df = delta_sharing.load_as_pandas(
    f"{profile}#share.schema.table"
)

$$

  • 수신자는 어떤 플랫폼이든 사용 가능
  • 수신자가 Delta Sharing 클라이언트를 설치
  • Spark, pandas, Power BI, Snowflake, Tableau
Databricks Lakehouse 입문

비용 고려사항

$$

  • 동일 리전 - 일반적으로 이그레스 비용 없음
  • 리전 간 - 클라우드 제공업체의 데이터 전송 비용 발생
  • 클라우드 간 (예: Azure → AWS) - 이그레스 비용 가장 높음
  • 공유 데이터를 주요 수신자 근처에 유지하세요

$$

계층: 동일 리전 - 무료 또는 저렴, 리전 간 - 이그레스 비용, 클라우드 간 - 비용 가장 높음

Databricks Lakehouse 입문

적합한 방식 선택하기

$$

의사결정 트리: 수신자가 Databricks를 사용하나요? 예 - 네이티브 공유 사용 (완전한 거버넌스, 낮은 설정 부담, 감사 로깅). 아니오 - 오픈 프로토콜 사용 (모든 플랫폼, 제공자 측 거버넌스만, 보통 수준의 설정). 두 경우 모두 - 리전별 이그레스 비용을 고려하세요.

Databricks Lakehouse 입문

요약

$$

  • 네이티브 공유 - Databricks 간, 원활한 연결, 완전한 거버넌스
  • 오픈 프로토콜 - 모든 플랫폼, 더 넓은 범위, 설정 필요
  • 이그레스 비용은 리전 간, 클라우드 간 공유 시 증가
  • 수신자의 플랫폼과 데이터 위치에 따라 선택하세요
Databricks Lakehouse 입문

연습해 봅시다!

Databricks Lakehouse 입문

Preparing Video For Download...