Delta Sharing: types and trade-offs

Wprowadzenie do Databricks Lakehouse

Gang Wang

Senior Data Scientist

Dwa podejścia do udostępniania

porównanie: Native Sharing a Open Protocol Sharing

Native sharing – Databricks do Databricks
- Płynna integracja z Unity Catalog
- Pełne zarządzanie po obu stronach
Open protocol – dowolna platforma
- Spark, pandas, Power BI, Snowflake
- Więcej konfiguracji, ale szerszy zasięg

Udostępnianie natywne w Databricks

Obie strony są klientami Databricks
Udostępnione dane pojawiają się w Unity Catalog odbiorcy
Pełne zarządzanie po obu stronach
Minimalna konfiguracja – wystarczy utworzyć udział i nadać dostęp

recraft: half: Dwa nowoczesne budynki połączone świecącym mostem, symbolizującym bezpośrednie połączenie między dwoma obszarami roboczymi Databricks

Udostępnianie przez otwarty protokół

# Recipient's code (using pandas)
import delta_sharing

profile = "config.share"
client = delta_sharing.SharingClient(
    profile
)
tables = client.list_all_tables()
df = delta_sharing.load_as_pandas(
    f"{profile}#share.schema.table"
)

Odbiorca może korzystać z dowolnej platformy
Odbiorca instaluje klienta Delta Sharing
Spark, pandas, Power BI, Snowflake, Tableau

Kwestie kosztów

Ten sam region – zwykle bez opłat za transfer danych
Różne regiony – dostawca chmury pobiera opłaty za transfer
Różne chmury (np. Azure do AWS) – najwyższe opłaty za transfer
Trzymaj udostępniane dane blisko głównych odbiorców

warstwy: Ten sam region – bezpłatnie lub tanio, Różne regiony – opłaty za transfer, Różne chmury – najwyższe opłaty

Jak wybrać właściwe podejście?

drzewo decyzyjne: Czy odbiorca używa Databricks? Tak – użyj Native Sharing (pełne zarządzanie, łatwa konfiguracja, dzienniki audytu). Nie – użyj Open Protocol (dowolna platforma, zarządzanie tylko po stronie dostawcy, umiarkowana konfiguracja). W obu przypadkach – uwzględnij opłaty za transfer w zależności od regionu.

Podsumowanie

Native sharing – Databricks do Databricks, bezproblemowe, pełne zarządzanie
Open protocol – dowolna platforma, szerszy zasięg, więcej konfiguracji
Opłaty za transfer rosną przy udostępnianiu między regionami i chmurami
Wybór zależy od platformy odbiorcy i lokalizacji danych

Czas na praktykę!

Wprowadzenie do Databricks Lakehouse