Delta Sharing: jenis dan pertimbangan

Pengantar Databricks Lakehouse

Gang Wang

Senior Data Scientist

Dua pendekatan untuk berbagi

perbandingan: Native Sharing vs Open Protocol Sharing

Native sharing - Databricks ke Databricks
- Integrasi Unity Catalog mulus
- Governance penuh di kedua sisi
Open protocol - platform apa pun
- Spark, pandas, Power BI, Snowflake
- Lebih banyak setup, tetapi jangkauan lebih luas

Berbagi native Databricks

Kedua pihak adalah pelanggan Databricks
Data yang dibagikan muncul di Unity Catalog penerima
Governance penuh di kedua sisi
Setup minimal - cukup buat share dan berikan akses

recraft: setengah: Dua gedung modern dihubungkan jembatan berpendar, melambangkan koneksi langsung mulus antara dua workspace Databricks

Berbagi open protocol

# Kode penerima (menggunakan pandas)
import delta_sharing

profile = "config.share"
client = delta_sharing.SharingClient(
    profile
)
tables = client.list_all_tables()
df = delta_sharing.load_as_pandas(
    f"{profile}#share.schema.table"
)

Penerima dapat memakai platform apa pun
Penerima memasang klien Delta Sharing
Spark, pandas, Power BI, Snowflake, Tableau

Pertimbangan biaya

Region yang sama - biasanya tanpa biaya egress
Lintas region - ada biaya transfer dari penyedia cloud
Lintas cloud (mis., Azure ke AWS) - biaya egress tertinggi
Letakkan data berbagi dekat penerima utama Anda

lapisan: Same Region - Gratis atau murah, Cross-Region - Biaya egress, Cross-Cloud - Biaya tertinggi

Memilih pendekatan yang tepat

pohon keputusan: Apakah penerima di Databricks? Ya - gunakan Native Sharing (governance penuh, setup rendah, audit logging). Tidak - gunakan Open Protocol (platform apa pun, governance oleh penyedia, setup sedang). Keduanya - pertimbangkan biaya egress per region.

Ringkasan

Native sharing - Databricks ke Databricks, mulus, governance penuh
Open protocol - platform apa pun, jangkauan lebih luas, lebih banyak setup
Biaya egress naik untuk lintas region dan lintas cloud
Pilih berdasarkan platform penerima dan lokasi data

Ayo berlatih!

Pengantar Databricks Lakehouse