Delta Sharing: tipi e compromessi

Introduzione a Databricks Lakehouse

Gang Wang

Senior Data Scientist

Due approcci alla condivisione

confronto: Condivisione nativa vs Condivisione con protocollo aperto

Condivisione nativa - da Databricks a Databricks
- Integrazione senza attriti con Unity Catalog
- Governance completa su entrambi i lati
Protocollo aperto - qualsiasi piattaforma
- Spark, pandas, Power BI, Snowflake
- Più configurazione, ma portata più ampia

Condivisione nativa Databricks

Entrambe le parti sono clienti Databricks
I dati condivisi compaiono nello Unity Catalog del destinatario
Governance completa su entrambi i lati
Setup minimo: crea la share e concedi l'accesso

recraft: metà: Due edifici moderni collegati da un ponte luminoso, a rappresentare una connessione diretta senza attriti tra due workspace Databricks

Condivisione con protocollo aperto

# Codice del destinatario (con pandas)
import delta_sharing

profile = "config.share"
client = delta_sharing.SharingClient(
    profile
)
tables = client.list_all_tables()
df = delta_sharing.load_as_pandas(
    f"{profile}#share.schema.table"
)

Il destinatario può usare qualsiasi piattaforma
Il destinatario installa un client Delta Sharing
Spark, pandas, Power BI, Snowflake, Tableau

Considerazioni sui costi

Stessa regione: in genere senza costi di egress
Tra regioni: il cloud addebita il trasferimento dati
Tra cloud (es. Azure → AWS): egress più alto
Tieni i dati condivisi vicini ai destinatari principali

livelli: Stessa regione - Gratis o economico, Tra regioni - Costi di egress, Tra cloud - Costi più alti

Scegliere l'approccio giusto

diagramma decisionale: Il destinatario è su Databricks? Sì - usa Condivisione nativa (governance completa, poco setup, audit logging). No - usa Protocollo aperto (qualsiasi piattaforma, governance del provider, setup moderato). In entrambi i casi - considera i costi di egress per regione.

Riepilogo

Condivisione nativa: Databricks-to-Databricks, fluida, governance completa
Protocollo aperto: qualsiasi piattaforma, portata più ampia, più setup
Le spese di egress aumentano tra regioni e tra cloud
Scegli in base alla piattaforma del destinatario e alla posizione dei dati

Esercitiamoci!

Introduzione a Databricks Lakehouse