Delta Sharing: türler ve ödünler

Databricks Lakehouse'a Giriş

Gang Wang

Senior Data Scientist

Paylaşım için iki yaklaşım

karşılaştırma: Yerel Paylaşım vs Açık Protokol Paylaşımı

Yerel paylaşım - Databricks'ten Databricks'e
- Unity Catalog ile sorunsuz bütünleşme
- Her iki tarafta tam yönetişim
Açık protokol - herhangi bir platform
- Spark, pandas, Power BI, Snowflake
- Daha çok kurulum, ama daha geniş erişim

Databricks-yerel paylaşım

Her iki taraf da Databricks müşterisi
Paylaşılan veri alıcının Unity Catalog'unda görünür
Her iki tarafta tam yönetişim
Minimum kurulum - paylaşımı oluştur ve erişim ver

recraft: yarım: İki Databricks çalışma alanı arasında kesintisiz doğrudan bağlantıyı simgeleyen, aralarında parlayan köprüyle bağlı iki modern bina

Açık protokol paylaşımı

# Alıcının kodu (pandas kullanarak)
import delta_sharing

profile = "config.share"
client = delta_sharing.SharingClient(
    profile
)
tables = client.list_all_tables()
df = delta_sharing.load_as_pandas(
    f"{profile}#share.schema.table"
)

Alıcı herhangi bir platform kullanabilir
Alıcı bir Delta Sharing istemcisi kurar
Spark, pandas, Power BI, Snowflake, Tableau

Maliyet değerlendirmeleri

Aynı bölge - genelde çıkış ücreti yok
Bölgeler arası - bulut sağlayıcısı veri transferi ücretlendirir
Bulutlar arası (örn. Azure'dan AWS'ye) - en yüksek çıkış ücretleri
Veriyi ana alıcılarına yakın tut

katmanlar: Aynı Bölge - Ücretsiz ya da ucuz, Bölgeler Arası - Çıkış ücretleri, Bulutlar Arası - En yüksek ücretler

Doğru yaklaşımı seçmek

karar ağacı: Alıcı Databricks'te mi? Evet - Yerel Paylaşımı kullan (tam yönetişim, düşük kurulum, denetim günlüğü). Hayır - Açık Protokolü kullan (her platform, yalnızca sağlayıcı yönetişimi, orta düzey kurulum). Her ikisi de - bölgeye göre çıkış maliyetlerini değerlendir.

Özet

Yerel paylaşım - Databricks-arke Databricks, sorunsuz, tam yönetişim
Açık protokol - herhangi bir platform, daha geniş erişim, daha çok kurulum
Çıkış ücretleri, bölgeler arası ve bulutlar arası paylaşımla artar
Seçimini alıcının platformuna ve verinin konumuna göre yap

Hadi pratik yapalım!

Databricks Lakehouse'a Giriş