Lakehouse Federation

Введение в Databricks Lakehouse

Gang Wang

Senior Data Scientist

Проблема: разрозненные хранилища

$$

recraft: half: Несколько изолированных островов с таблицами данных на каждом и отсутствующими мостами между ними — иллюстрация информационных разрозненных хранилищ в разных системах

$$

  • Данные распределены по нескольким системам
  • PostgreSQL, MySQL, Snowflake, SQL Server
  • Перемещение данных — медленно и создаёт дубликаты
  • Нужны ответы, охватывающие все данные
Введение в Databricks Lakehouse

Что такое Lakehouse Federation?

$$

architecture: Lakehouse Federation

Введение в Databricks Lakehouse

Настройка подключения

$$

-- Create a connection
CREATE CONNECTION partner_pg
TYPE postgresql
OPTIONS (
  host 'db.partner.com',
  port '5432',
  user 'reader',
  password secret('scope', 'key')
);

$$

-- Create a foreign catalog
CREATE FOREIGN CATALOG partner_db
USING CONNECTION partner_pg;

-- Query the external table
SELECT *
FROM partner_db.public.orders
LIMIT 10;

Введение в Databricks Lakehouse

Федерация или загрузка: когда что выбрать

$$

Федерация Загрузка
Доступ Реальное время Пакетная копия
Объём запросов Низкий Высокий
Задержка Зависит от источника Низкая
Соответствие требованиям Копии не нужны Данные перемещаются
Преобразования Ограниченные Полный медальон

$$

  • Федерация — для доступа в реальном времени, низких объёмов или при ограничениях соответствия
  • Загрузка — для высоконагруженных, повторяющихся и критичных по производительности задач
Введение в Databricks Lakehouse

Федерация в Unity Catalog

$$

  • Федеративные таблицы отображаются в иерархии Unity Catalog
  • Те же управление доступом и отслеживание происхождения, что и у локальных таблиц
  • Объединяйте федеративные и локальные таблицы в одном запросе
  • Поддерживаемые источники: PostgreSQL, MySQL, Snowflake, SQL Server и другие

$$

recraft: half: Два современных здания, соединённых светящимся мостом из потоков данных, с центральным каталогом посередине — иллюстрация федеративного управления данными

Введение в Databricks Lakehouse

Итоги

$$

  • Lakehouse Federation запрашивает внешние данные без их копирования
  • Создайте подключение, внешний каталог и выполняйте запросы с помощью стандартного SQL
  • Федерация — для доступа в реальном времени, низких объёмов или при ограничениях соответствия
  • Загрузка — для высоконагруженных, повторяющихся и критичных по производительности задач
Введение в Databricks Lakehouse

Давайте потренируемся!

Введение в Databricks Lakehouse

Preparing Video For Download...