Delta Sharing：类型与取舍

Databricks Lakehouse 入门

Gang Wang

Senior Data Scientist

两种共享方式

$$

对比：原生共享 vs 开放协议共享

$$

  • 原生共享 —— Databricks 到 Databricks
    • 与 Unity Catalog 无缝集成
    • 双方均具备完整治理
  • 开放协议 —— 任何平台
    • Spark、pandas、Power BI、Snowflake
    • 配置更多，但覆盖更广
Databricks Lakehouse 入门

Databricks 原生共享

$$

  • 双方都是 Databricks 客户
  • 共享数据显示在接收方的 Unity Catalog 中
  • 双方均有完整治理
  • 最少配置 —— 创建 share 并授予访问即可

$$

recraft: half: 两座现代建筑由发光桥梁相连，表示两个 Databricks 工作区间的无缝直连

Databricks Lakehouse 入门

开放协议共享

$$

# Recipient's code (using pandas)
import delta_sharing

profile = "config.share"
client = delta_sharing.SharingClient(
    profile
)
tables = client.list_all_tables()
df = delta_sharing.load_as_pandas(
    f"{profile}#share.schema.table"
)

$$

  • 接收方可用任何平台
  • 接收方需安装 Delta Sharing 客户端
  • Spark、pandas、Power BI、Snowflake、Tableau
Databricks Lakehouse 入门

成本考量

$$

  • 同一区域 —— 通常无出口费用
  • 跨区域 —— 云厂商按数据传输收费
  • 跨云（如 Azure 到 AWS）—— 出口费最高
  • 将共享数据尽量靠近主要接收方

$$

层级：同一区域 - 免费或低费，跨区域 - 出口费用，跨云 - 最高费用

Databricks Lakehouse 入门

如何选择合适方式

$$

决策树：接收方是否在 Databricks？是——用原生共享（完整治理、低配置、审计日志）。否——用开放协议（任意平台、仅云厂商治理、中等配置）。两者皆有——按区域评估出口成本。

Databricks Lakehouse 入门

小结

$$

  • 原生共享 —— Databricks 直连，无缝对接，完整治理
  • 开放协议 —— 任意平台，覆盖更广，配置更多
  • 出口费用 随跨区域、跨云共享而上升
  • 依据接收方平台与数据位置选择
Databricks Lakehouse 入门

让我们一起练习吧！

Databricks Lakehouse 入门

Preparing Video For Download...