Delta Sharing: typen en afwegingen

Introductie tot Databricks Lakehouse

Gang Wang

Senior Data Scientist

Twee manieren om te delen

vergelijking: Native Sharing vs Open Protocol Sharing

Native sharing - Databricks naar Databricks
- Naadloze Unity Catalog-integratie
- Volledige governance aan beide zijden
Open protocol - elk platform
- Spark, pandas, Power BI, Snowflake
- Meer setup, maar groter bereik

Databricks-native delen

Beide partijen zijn Databricks-klant
Gedeelde data verschijnt in de Unity Catalog van de ontvanger
Volledige governance aan beide zijden
Minimale setup - maak de share en geef toegang

recraft: half: Twee moderne gebouwen verbonden door een gloeiende brug ertussen, wat een naadloze directe verbinding tussen twee Databricks-werkruimtes uitbeeldt

Delen via open protocol

# Code van de ontvanger (met pandas)
import delta_sharing

profile = "config.share"
client = delta_sharing.SharingClient(
    profile
)
tables = client.list_all_tables()
df = delta_sharing.load_as_pandas(
    f"{profile}#share.schema.table"
)

Ontvanger kan elk platform gebruiken
Ontvanger installeert een Delta Sharing-client
Spark, pandas, Power BI, Snowflake, Tableau

Kostenoverwegingen

Zelfde regio - meestal geen egress-kosten
Regio-overstijgend - cloudprovider rekent dataverkeer
Cloud-overstijgend (bijv. Azure naar AWS) - hoogste egress-kosten
Houd gedeelde data dicht bij je belangrijkste ontvangers

lagen: Zelfde regio - Gratis of goedkoop, Regio-overstijgend - Egress-kosten, Cloud-overstijgend - Hoogste kosten

De juiste aanpak kiezen

beslissingsboom: Zit de ontvanger op Databricks? Ja - gebruik Native Sharing (volledige governance, weinig setup, auditlogging). Nee - gebruik Open Protocol (elk platform, alleen provider-governance, gemiddelde setup). Beide - overweeg egress-kosten per regio.

Samenvatting

Native sharing - Databricks-naar-Databricks, naadloos, volledige governance
Open protocol - elk platform, breder bereik, meer setup
Egress-kosten nemen toe bij regio- en cloud-overstijgend delen
Kies op basis van het platform van de ontvanger en de datalocatie

Laten we oefenen!

Introductie tot Databricks Lakehouse