Delta Sharing: типи та компроміси

Вступ до Databricks Lakehouse

Gang Wang

Senior Data Scientist

Два підходи до обміну

порівняння: вбудований обмін vs обмін за відкритим протоколом

Native sharing — Databricks ↔ Databricks
- Безшовна інтеграція з Unity Catalog
- Повна керованість з обох боків
Відкритий протокол — будь-яка платформа
- Spark, pandas, Power BI, Snowflake
- Більше налаштувань, зате ширше охоплення

Вбудований обмін Databricks

Обидві сторони — клієнти Databricks
Спільні дані з'являються в Unity Catalog отримувача
Повна керованість з обох боків
Мінімальні налаштування — створіть share і надайте доступ

recraft: half: Дві сучасні будівлі, з'єднані сяйливим мостом між ними, що уособлює безшовне пряме з'єднання між двома робочими просторами Databricks

Обмін за відкритим протоколом

# Код отримувача (з використанням pandas)
import delta_sharing

profile = "config.share"
client = delta_sharing.SharingClient(
    profile
)
tables = client.list_all_tables()
df = delta_sharing.load_as_pandas(
    f"{profile}#share.schema.table"
)

Отримувач може використовувати будь-яку платформу
Отримувач встановлює клієнт Delta Sharing
Spark, pandas, Power BI, Snowflake, Tableau

Міркування щодо вартості

Один регіон — зазвичай без плати за вихідний трафік
Міжрегіонально — провайдер стягує плату за передачу даних
Між хмарами (напр., Azure → AWS) — найвищі збори за вихід
Тримайте спільні дані ближче до основних отримувачів

шари: Один регіон — Безкоштовно або дешево, Міжрегіонально — Плата за вихідний трафік, Між хмарами — Найвищі збори

Вибір правильного підходу

дерево рішень: Чи отримувач у Databricks? Так — використовуйте Native Sharing (повна керованість, мало налаштувань, аудит). Ні — використовуйте Open Protocol (будь-яка платформа, керованість лише від провайдера, помірні налаштування). Обидва — врахуйте вартість вихідного трафіку за регіонами.

Підсумок

Native sharing — Databricks ↔ Databricks, безшовно, повна керованість
Відкритий протокол — будь-яка платформа, ширше охоплення, більше налаштувань
Плата за вихідний трафік зростає для міжрегіонального й міжхмарного обміну
Обирайте з огляду на платформу отримувача й розташування даних

Давайте потренуємось!

Вступ до Databricks Lakehouse