Delta Sharing: Arten und Abwägungen

Einführung in das Databricks Lakehouse

Gang Wang

Senior Data Scientist

Zwei Ansätze für das Teilen

$$

Vergleich: Native Freigabe vs. offene Protokollfreigabe

$$

  • Native Freigabe – Databricks zu Databricks
    • Nahtlose Unity-Catalog-Integration
    • Volle Governance auf beiden Seiten
  • Offenes Protokoll – jede Plattform
    • Spark, pandas, Power BI, Snowflake
    • Mehr Setup, aber größere Reichweite
Einführung in das Databricks Lakehouse

Databricks-native Freigabe

$$

  • Beide Parteien sind Databricks-Kunden
  • Geteilte Daten erscheinen im Unity Catalog des Empfängers
  • Volle Governance auf beiden Seiten
  • Minimales Setup – Share erstellen und Zugriff gewähren

$$

recraft: halb: Zwei moderne Gebäude, verbunden durch eine leuchtende Brücke zwischen ihnen, als Symbol für eine nahtlose Direktverbindung zwischen zwei Databricks-Workspaces

Einführung in das Databricks Lakehouse

Freigabe mit offenem Protokoll

$$

# Code des Empfängers (mit pandas)
import delta_sharing

profile = "config.share"
client = delta_sharing.SharingClient(
    profile
)
tables = client.list_all_tables()
df = delta_sharing.load_as_pandas(
    f"{profile}#share.schema.table"
)

$$

  • Empfänger kann jede Plattform nutzen
  • Empfänger installiert einen Delta-Sharing-Client
  • Spark, pandas, Power BI, Snowflake, Tableau
Einführung in das Databricks Lakehouse

Kostenaspekte

$$

  • Gleiche Region – meist keine Egress-Gebühren
  • Regionsübergreifend – Cloud-Anbieter berechnet Datentransfer
  • Cloud-übergreifend (z. B. Azure zu AWS) – höchste Egress-Gebühren
  • Halte geteilte Daten nahe bei deinen Hauptempfängern

$$

Ebenen: Gleiche Region – kostenlos oder günstig, Regionsübergreifend – Egress-Gebühren, Cloud-übergreifend – höchste Gebühren

Einführung in das Databricks Lakehouse

Den richtigen Ansatz wählen

$$

Entscheidungsbaum: Ist der Empfänger auf Databricks? Ja – nutze Native Sharing (volle Governance, wenig Setup, Audit-Logging). Nein – nutze Offenes Protokoll (jede Plattform, Governance nur durch Anbieter, moderates Setup). Beides – berücksichtige Egress-Kosten je Region.

Einführung in das Databricks Lakehouse

Zusammenfassung

$$

  • Native Freigabe – Databricks zu Databricks, nahtlos, volle Governance
  • Offenes Protokoll – jede Plattform, größere Reichweite, mehr Setup
  • Egress-Gebühren steigen bei regions- und cloudübergreifender Freigabe
  • Wähle nach Plattform des Empfängers und Datenstandort
Einführung in das Databricks Lakehouse

Lass uns üben!

Einführung in das Databricks Lakehouse

Preparing Video For Download...