Delta Sharing : types et compromis

Introduction à Databricks Lakehouse

Gang Wang

Senior Data Scientist

Deux approches pour le partage

$$

comparaison : partage natif vs partage par protocole ouvert

$$

  • Partage natif — Databricks à Databricks
    • Intégration transparente à Unity Catalog
    • Pleine gouvernance des deux côtés
  • Protocole ouvert — toute plateforme
    • Spark, pandas, Power BI, Snowflake
    • Plus de configuration, mais portée plus large
Introduction à Databricks Lakehouse

Partage natif Databricks

$$

  • Les deux parties sont clientes de Databricks
  • Les données partagées apparaissent dans le Unity Catalog du destinataire
  • Pleine gouvernance des deux côtés
  • Configuration minimale — créer le partage et accorder l'accès

$$

recraft : moitié : Deux immeubles modernes reliés par un pont lumineux, évoquant une connexion directe et fluide entre deux espaces de travail Databricks

Introduction à Databricks Lakehouse

Partage par protocole ouvert

$$

# Code du destinataire (avec pandas)
import delta_sharing

profile = "config.share"
client = delta_sharing.SharingClient(
    profile
)
tables = client.list_all_tables()
df = delta_sharing.load_as_pandas(
    f"{profile}#share.schema.table"
)

$$

  • Le destinataire peut utiliser n'importe quelle plateforme
  • Le destinataire installe un client Delta Sharing
  • Spark, pandas, Power BI, Snowflake, Tableau
Introduction à Databricks Lakehouse

Aspects coûts

$$

  • Même région — généralement pas de frais d'égresse
  • Interrégions — frais de transfert facturés par le nuagicien
  • Internuages (p. ex., Azure vers AWS) — égresse la plus élevée
  • Garder les données partagées près de vos destinataires principaux

$$

couches : Même région — Gratuit ou peu coûteux, Interrégions — Frais d'égresse, Internuages — Frais les plus élevés

Introduction à Databricks Lakehouse

Choisir la bonne approche

$$

arbre de décision : Le destinataire est-il sur Databricks ? Oui — utiliser le partage natif (pleine gouvernance, faible configuration, journalisation d'audit). Non — utiliser le protocole ouvert (toute plateforme, gouvernance par le fournisseur seulement, configuration modérée). Les deux — considérer les coûts d'égresse selon la région.

Introduction à Databricks Lakehouse

Résumé

$$

  • Partage natif — Databricks à Databricks, fluide, pleine gouvernance
  • Protocole ouvert — toute plateforme, portée plus large, plus de configuration
  • Les frais d'égresse augmentent entre régions et entre nuages
  • Choisir selon la plateforme du destinataire et l'emplacement des données
Introduction à Databricks Lakehouse

Passons à la pratique !

Introduction à Databricks Lakehouse

Preparing Video For Download...