Delta Sharing: tipos e trade-offs

Introdução ao Databricks Lakehouse

Gang Wang

Senior Data Scientist

Duas abordagens de compartilhamento

comparação: Compartilhamento nativo vs Compartilhamento por protocolo aberto

Compartilhamento nativo - Databricks para Databricks
- Integração fluida com Unity Catalog
- Governança completa nos dois lados
Protocolo aberto - qualquer plataforma
- Spark, pandas, Power BI, Snowflake
- Mais configuração, mas alcance maior

Compartilhamento nativo do Databricks

As duas partes são clientes Databricks
Dados compartilhados aparecem no Unity Catalog do destinatário
Governança completa nos dois lados
Configuração mínima - crie o share e conceda acesso

recraft: half: Dois prédios modernos conectados por uma ponte luminosa entre eles, representando uma conexão direta e contínua entre dois workspaces Databricks

Compartilhamento por protocolo aberto

# Código do destinatário (usando pandas)
import delta_sharing

profile = "config.share"
client = delta_sharing.SharingClient(
    profile
)
tables = client.list_all_tables()
df = delta_sharing.load_as_pandas(
    f"{profile}#share.schema.table"
)

O destinatário pode usar qualquer plataforma
O destinatário instala um cliente Delta Sharing
Spark, pandas, Power BI, Snowflake, Tableau

Custos a considerar

Mesma região - geralmente sem taxa de egresso
Entre regiões - provedor cobra pela transferência
Entre clouds (ex.: Azure para AWS) - maiores taxas de egresso
Mantenha os dados perto dos principais destinatários

camadas: Mesma região - Grátis ou barato, Entre regiões - Taxas de egresso, Entre clouds - Maiores taxas

Como escolher a abordagem certa

árvore de decisão: O destinatário usa Databricks? Sim - use Compartilhamento Nativo (governança total, baixa configuração, auditoria). Não - use Protocolo Aberto (qualquer plataforma, governança do provedor, configuração moderada). Ambos - considere custos de egresso por região.

Resumo

Compartilhamento nativo - Databricks-para-Databricks, contínuo, governança total
Protocolo aberto - qualquer plataforma, alcance maior, mais configuração
Taxas de egresso aumentam entre regiões e entre clouds
Escolha com base na plataforma do destinatário e na localização dos dados

Vamos praticar!

Introdução ao Databricks Lakehouse