Delta Sharing: typy a kompromisy

Introduction to Databricks Lakehouse

Gang Wang

Senior Data Scientist

Dva přístupy ke sdílení

$$

porovnání: Native Sharing vs Open Protocol Sharing

$$

  • Native sharing – Databricks na Databricks
    • Bezproblémová integrace s Unity Catalogem
    • Plná správa dat na obou stranách
  • Open protocol – jakákoli platforma
    • Spark, pandas, Power BI, Snowflake
    • Více nastavení, ale širší dosah
Introduction to Databricks Lakehouse

Sdílení nativní v Databricks

$$

  • Obě strany jsou zákazníci Databricks
  • Sdílená data se zobrazí v Unity Catalogu příjemce
  • Plná správa dat na obou stranách
  • Minimální nastavení – stačí vytvořit share a udělit přístup

$$

recraft: half: Dvě moderní budovy propojené zářivým mostem, symbolizující přímé spojení dvou Databricks pracovních prostorů

Introduction to Databricks Lakehouse

Sdílení přes open protocol

$$

# Recipient's code (using pandas)
import delta_sharing

profile = "config.share"
client = delta_sharing.SharingClient(
    profile
)
tables = client.list_all_tables()
df = delta_sharing.load_as_pandas(
    f"{profile}#share.schema.table"
)

$$

  • Příjemce může použít jakoukoli platformu
  • Příjemce si nainstaluje Delta Sharing klienta
  • Spark, pandas, Power BI, Snowflake, Tableau
Introduction to Databricks Lakehouse

Nákladové aspekty

$$

  • Stejný region – zpravidla bez poplatků za přenos dat
  • Různé regiony – cloud provider účtuje přenos dat
  • Různé cloudy (např. Azure → AWS) – nejvyšší poplatky
  • Uchovávej sdílená data blízko hlavních příjemců

$$

vrstvy: Stejný region – zdarma nebo levně, Různé regiony – poplatky za přenos, Různé cloudy – nejvyšší poplatky

Introduction to Databricks Lakehouse

Volba správného přístupu

$$

rozhodovací strom: Je příjemce na Databricks? Ano – použij Native Sharing (plná správa, snadné nastavení, audit logging). Ne – použij Open Protocol (jakákoli platforma, správa jen u poskytovatele, střední náročnost nastavení). V obou případech – zvaž poplatky za přenos dat podle regionu.

Introduction to Databricks Lakehouse

Shrnutí

$$

  • Native sharing – Databricks na Databricks, bezproblémové, plná správa dat
  • Open protocol – jakákoli platforma, širší dosah, více nastavení
  • Poplatky za přenos dat rostou při sdílení přes regiony i cloudy
  • Volbu urči podle platformy příjemce a umístění dat
Introduction to Databricks Lakehouse

Pojďme cvičit!

Introduction to Databricks Lakehouse

Preparing Video For Download...