Delta Sharing: типы и компромиссы

Введение в Databricks Lakehouse

Gang Wang

Senior Data Scientist

Два подхода к обмену данными

сравнение: Native Sharing и Open Protocol Sharing

Нативный обмен — Databricks с Databricks
- Бесшовная интеграция с Unity Catalog
- Полное управление с обеих сторон
Открытый протокол — любая платформа
- Spark, pandas, Power BI, Snowflake
- Больше настроек, но шире охват

Нативный обмен данными Databricks

Обе стороны — клиенты Databricks
Общие данные появляются в Unity Catalog получателя
Полное управление с обеих сторон
Минимальная настройка — просто создайте общий ресурс и предоставьте доступ

recraft: half: Два современных здания, соединённых светящимся мостом, — символ прямого соединения двух рабочих пространств Databricks

Обмен по открытому протоколу

# Recipient's code (using pandas)
import delta_sharing

profile = "config.share"
client = delta_sharing.SharingClient(
    profile
)
tables = client.list_all_tables()
df = delta_sharing.load_as_pandas(
    f"{profile}#share.schema.table"
)

Получатель может использовать любую платформу
Получатель устанавливает клиент Delta Sharing
Spark, pandas, Power BI, Snowflake, Tableau

Стоимостные факторы

Один регион — как правило, без платы за исходящий трафик
Разные регионы — облачный провайдер взимает плату за передачу данных
Разные облака (например, Azure → AWS) — наибольшие расходы на трафик
Размещайте общие данные ближе к основным получателям

layers: Один регион — бесплатно или дёшево, разные регионы — плата за трафик, разные облака — максимальные расходы

Выбор подходящего метода

decision tree: Получатель использует Databricks? Да — используйте Native Sharing (полное управление, простая настройка, журнал аудита). Нет — используйте Open Protocol (любая платформа, управление только на стороне провайдера, умеренная настройка). В обоих случаях — учитывайте расходы на трафик по регионам.

Итоги

Нативный обмен — Databricks с Databricks, бесшовно, полное управление
Открытый протокол — любая платформа, шире охват, больше настроек
Плата за трафик растёт при межрегиональном и межоблачном обмене
Выбор зависит от платформы получателя и расположения данных

Давайте потренируемся!

Введение в Databricks Lakehouse