Delta Sharing: tipos y compensaciones

Introducción a Databricks Lakehouse

Gang Wang

Senior Data Scientist

Dos enfoques para compartir

comparación: uso nativo frente a protocolo abierto

Uso nativo: de Databricks a Databricks
- Integración fluida con Unity Catalog
- Gobernanza completa en ambos lados
Protocolo abierto: cualquier plataforma
- Spark, pandas, Power BI, Snowflake
- Más configuración, pero mayor alcance

Uso nativo de Databricks

Ambas partes son clientes de Databricks
Los datos compartidos aparecen en el Unity Catalog del destinatario
Gobernanza completa en ambos lados
Configuración mínima: crea el share y concede acceso

recraft: mitad: Dos edificios modernos unidos por un puente luminoso, que representa una conexión directa y fluida entre dos espacios de trabajo de Databricks

Uso con protocolo abierto

# Código del destinatario (usando pandas)
import delta_sharing

profile = "config.share"
client = delta_sharing.SharingClient(
    profile
)
tables = client.list_all_tables()
df = delta_sharing.load_as_pandas(
    f"{profile}#share.schema.table"
)

El destinatario puede usar cualquier plataforma
El destinatario instala un cliente de Delta Sharing
Spark, pandas, Power BI, Snowflake, Tableau

Consideraciones de coste

Misma región: normalmente sin cargos de egreso
Entre regiones: el proveedor cobra por transferencia de datos
Entre nubes (p. ej., de Azure a AWS): mayores tasas de egreso
Mantén los datos compartidos cerca de tus destinatarios principales

capas: Misma región: gratis o barato, Entre regiones: cargos de egreso, Entre nubes: tasas más altas

Elegir el enfoque adecuado

árbol de decisión: ¿El destinatario usa Databricks? Sí: usa uso nativo (gobernanza completa, poca configuración, registro de auditoría). No: usa protocolo abierto (cualquier plataforma, gobernanza del proveedor, configuración moderada). Ambos: valora costes de egreso por región.

Resumen

Uso nativo: Databricks a Databricks, fluido, gobernanza completa
Protocolo abierto: cualquier plataforma, mayor alcance, más configuración
Los cargos de egreso aumentan entre regiones y entre nubes
Elige según la plataforma del destinatario y la ubicación de los datos

¡Vamos a practicar!

Introducción a Databricks Lakehouse