Delta Sharing: types and trade-offs

Databricks Lakehouse 入門

Gang Wang

Senior Data Scientist

2つの共有アプローチ

$$

比較：ネイティブ共有 vs オープンプロトコル共有

$$

  • ネイティブ共有 - Databricks 間
    • Unity Catalog とシームレスに統合
    • 双方で完全なガバナンス
  • オープンプロトコル - 任意のプラットフォーム
    • Spark、pandas、Power BI、Snowflake
    • 設定は多め、ただし対応範囲が広い
Databricks Lakehouse 入門

Databricks ネイティブ共有

$$

  • 双方が Databricks ユーザー
  • 共有データは受信者の Unity Catalog に表示される
  • 双方で完全なガバナンス
  • 設定が最小限 - 共有を作成してアクセスを付与するだけ

$$

2つのモダンなビルが光るブリッジで繋がれた画像。2つの Databricks ワークスペース間のシームレスな接続を表しています

Databricks Lakehouse 入門

オープンプロトコル共有

$$

# Recipient's code (using pandas)
import delta_sharing

profile = "config.share"
client = delta_sharing.SharingClient(
    profile
)
tables = client.list_all_tables()
df = delta_sharing.load_as_pandas(
    f"{profile}#share.schema.table"
)

$$

  • 受信者は任意のプラットフォームを使用できる
  • 受信者は Delta Sharing クライアントをインストールする
  • Spark、pandas、Power BI、Snowflake、Tableau
Databricks Lakehouse 入門

コストに関する考慮事項

$$

  • 同一リージョン - 通常、転送コストなし
  • リージョン間 - クラウドプロバイダーのデータ転送料が発生
  • クラウド間（例：Azure から AWS）- 転送料が最も高い
  • 共有データは主な受信者の近くに配置しましょう

$$

階層図：同一リージョン - 無料または安価、リージョン間 - 転送料あり、クラウド間 - 最高料金

Databricks Lakehouse 入門

適切なアプローチの選択

$$

決定木：受信者は Databricks を使用していますか？はい - ネイティブ共有を使用（完全なガバナンス、設定が少ない、監査ログあり）。いいえ - オープンプロトコルを使用（任意のプラットフォーム、プロバイダー側のみのガバナンス、設定は中程度）。両方 - リージョン別の転送コストを検討。

Databricks Lakehouse 入門

まとめ

$$

  • ネイティブ共有 - Databricks 間、シームレス、完全なガバナンス
  • オープンプロトコル - 任意のプラットフォーム、対応範囲が広い、設定は多め
  • 転送料はリージョン間・クラウド間共有で増加する
  • 受信者のプラットフォームとデータの場所に基づいて選択しましょう
Databricks Lakehouse 入門

練習しましょう！

Databricks Lakehouse 入門

Preparing Video For Download...