Delta Sharing : types et arbitrages

Introduction à Databricks Lakehouse

Gang Wang

Senior Data Scientist

Deux approches du partage

$$

comparaison : partage natif vs partage via protocole ouvert

$$

  • Partage natif – Databricks vers Databricks
    • Intégration fluide à Unity Catalog
    • Gouvernance complète des deux côtés
  • Protocole ouvert – toute plateforme
    • Spark, pandas, Power BI, Snowflake
    • Plus de configuration, mais portée plus large
Introduction à Databricks Lakehouse

Partage natif Databricks

$$

  • Les deux parties sont clientes Databricks
  • Les données partagées apparaissent dans le Unity Catalog du destinataire
  • Gouvernance complète des deux côtés
  • Configuration minimale : créer le partage et accorder l'accès

$$

recraft : moitié : Deux immeubles modernes reliés par un pont lumineux, symbolisant une connexion directe fluide entre deux espaces de travail Databricks

Introduction à Databricks Lakehouse

Partage via protocole ouvert

$$

# Code du destinataire (avec pandas)
import delta_sharing

profile = "config.share"
client = delta_sharing.SharingClient(
    profile
)
tables = client.list_all_tables()
df = delta_sharing.load_as_pandas(
    f"{profile}#share.schema.table"
)

$$

  • Le destinataire peut utiliser n'importe quelle plateforme
  • Le destinataire installe un client Delta Sharing
  • Spark, pandas, Power BI, Snowflake, Tableau
Introduction à Databricks Lakehouse

Considérations de coût

$$

  • Même région : généralement pas de frais d'egress
  • Interrégion : frais de transfert facturés par le cloud
  • Inter‑cloud (p. ex. Azure vers AWS) : frais d'egress les plus élevés
  • Gardez les données partagées près de vos principaux destinataires

$$

couches : Même région – Gratuit ou peu coûteux, Interrégion – Frais d'egress, Inter‑cloud – Frais les plus élevés

Introduction à Databricks Lakehouse

Choisir la bonne approche

$$

arbre de décision : Le destinataire est‑il sur Databricks ? Oui – utiliser le partage natif (gouvernance complète, configuration légère, journalisation d'audit). Non – utiliser le protocole ouvert (toute plateforme, gouvernance côté fournisseur uniquement, configuration modérée). Les deux – considérer les coûts d'egress selon la région.

Introduction à Databricks Lakehouse

En résumé

$$

  • Partage natif – Databricks vers Databricks, fluide, gouvernance complète
  • Protocole ouvert – toute plateforme, portée plus large, plus de configuration
  • Les frais d'egress augmentent en interrégion et inter‑cloud
  • Choisir selon la plateforme du destinataire et l'emplacement des données
Introduction à Databricks Lakehouse

Passons à la pratique !

Introduction à Databricks Lakehouse

Preparing Video For Download...