Основы Delta Sharing

Введение в Databricks Lakehouse

Gang Wang

Senior Data Scientist

Проблема обмена данными

Традиционный обмен: экспорт, электронная почта, загрузка
Данные устаревают мгновенно
Множество копий в разных организациях
Нет контроля после отправки файла

recraft: half: Человек с трудом несёт несколько тяжёлых коробок с файлами через дверь — символ трудностей традиционного обмена данными через экспорт файлов

Что такое Delta Sharing?

architecture: Delta Sharing Protocol

Без копий — получатели запрашивают актуальные данные через протокол Delta Sharing
Мгновенный отзыв — закрыть доступ можно одной командой

Создание share

-- Create a share
CREATE SHARE partner_data;

-- Add a gold table to the share
ALTER SHARE partner_data
ADD TABLE production.sales
  .gold_daily_revenue;

Share — именованная коллекция таблиц
Добавляйте таблицы из любого каталога в Unity Catalog
Как правило, публикуются данные золотого слоя — чистые, агрегированные, готовые к использованию

Добавление получателей

-- Create a recipient
CREATE RECIPIENT acme_corp;

-- Grant the recipient access
GRANT SELECT ON SHARE partner_data
TO RECIPIENT acme_corp;

Recipient — организация или человек, получающий доступ
Получатель получает ссылку для активации доступа
Вы управляете тем, какие share доступны каждому получателю

Аналогия с читательским билетом

Вместо ксерокопии книги (экспорта данных) вы выдаёте читательский билет (share)
Получатель читает оригинал в реальном времени
Вы можете аннулировать билет в любой момент

recraft: half: Человек вручает читательский билет другому человеку перед зданием библиотеки — символ предоставления доступа к актуальным данным вместо их копирования

Резюме

Delta Sharing предоставляет живой доступ к данным только для чтения — без копий
Создайте share, добавьте таблицы золотого слоя, предоставьте доступ получателям
Получатели запрашивают данные в реальном времени через протокол Delta Sharing
Отзывайте доступ мгновенно, когда необходимость отпадает

Давайте потренируемся!

Введение в Databricks Lakehouse