Delta Sharing: tipuri și compromisuri

Introducere în Databricks Lakehouse

Gang Wang

Senior Data Scientist

Două abordări de partajare

comparație: Native Sharing vs Open Protocol Sharing

Native sharing - Databricks la Databricks
- Integrare Unity Catalog fără fricțiuni
- Guvernanță completă pe ambele părți
Open protocol - orice platformă
- Spark, pandas, Power BI, Snowflake
- Mai multă configurare, dar acoperire mai largă

Partajare nativă Databricks

Ambele părți sunt clienți Databricks
Datele partajate apar în Unity Catalog al destinatarului
Guvernanță completă pe ambele părți
Configurare minimă - creează partajarea și acordă accesul

recraft: half: Două clădiri moderne conectate printr-un pod luminos, reprezentând o conexiune directă între două workspace-uri Databricks

Partajare prin protocol deschis

# Recipient's code (using pandas)
import delta_sharing

profile = "config.share"
client = delta_sharing.SharingClient(
    profile
)
tables = client.list_all_tables()
df = delta_sharing.load_as_pandas(
    f"{profile}#share.schema.table"
)

Destinatarul poate folosi orice platformă
Destinatarul instalează un client Delta Sharing
Spark, pandas, Power BI, Snowflake, Tableau

Considerații de cost

Aceeași regiune - de obicei fără costuri de transfer
Regiuni diferite - furnizorul cloud percepe taxe de transfer
Cloud-uri diferite (ex.: Azure la AWS) - cele mai mari taxe
Păstrează datele partajate aproape de destinatarii principali

straturi: Aceeași regiune - Gratuit sau ieftin, Regiuni diferite - Taxe de transfer, Cloud-uri diferite - Cele mai mari taxe

Alegerea abordării potrivite

arbore de decizie: Destinatarul folosește Databricks? Da - folosește Native Sharing (guvernanță completă, configurare redusă, audit logging). Nu - folosește Open Protocol (orice platformă, guvernanță doar la furnizor, configurare moderată). Ambele - ia în calcul costurile de transfer pe regiuni.

Rezumat

Native sharing - Databricks la Databricks, fără fricțiuni, guvernanță completă
Open protocol - orice platformă, acoperire mai largă, mai multă configurare
Taxele de transfer cresc la partajarea între regiuni și cloud-uri diferite
Alege în funcție de platforma destinatarului și locația datelor

Hai să exersăm!

Introducere în Databricks Lakehouse