Федерація Lakehouse

Вступ до Databricks Lakehouse

Gang Wang

Senior Data Scientist

Проблема: інформаційні «сайло»

$$

recraft: half: Кілька відокремлених островів із таблицями даних на кожному та без мостів між ними — це ізольовані сховища даних у різних системах

$$

  • Дані розкидані по кількох системах
  • PostgreSQL, MySQL, Snowflake, SQL Server
  • Переміщення даних повільне і створює копії
  • Вам потрібні відповіді з урахуванням усіх даних
Вступ до Databricks Lakehouse

Що таке Lakehouse Federation?

$$

architecture: Федерація Lakehouse

Вступ до Databricks Lakehouse

Налаштування з'єднання

$$

-- Create a connection
CREATE CONNECTION partner_pg
TYPE postgresql
OPTIONS (
  host 'db.partner.com',
  port '5432',
  user 'reader',
  password secret('scope', 'key')
);

$$

-- Create a foreign catalog
CREATE FOREIGN CATALOG partner_db
USING CONNECTION partner_pg;

-- Query the external table
SELECT *
FROM partner_db.public.orders
LIMIT 10;

Вступ до Databricks Lakehouse

Коли федерація, а коли ingest

$$

Federate Ingest
Access Реальний час Пакетне копіювання
Query volume Низький Високий
Latency Залежить від джерела Низька
Compliance Копії не потрібні Дані переміщуються
Transforms Обмежені Повна «medallion»

$$

  • Federate для доступу в реальному часі, низьких обсягів або обмежень комплаєнсу
  • Ingest для великих обсягів, повторюваних і критичних за продуктивністю навантажень
Вступ до Databricks Lakehouse

Федерація в Unity Catalog

$$

  • Федеративні таблиці відображаються в ієрархії Unity Catalog
  • Ті ж контроль доступу та лінійність даних, що й у локальних таблиць
  • Об'єднуйте федеративні таблиці з локальними lakehouse-таблицями в одному запиті
  • Джерела: PostgreSQL, MySQL, Snowflake, SQL Server тощо

$$

recraft: half: Дві сучасні будівлі, з'єднані сяючим мостом потоків даних, а посередині — центральний каталог, що символізує керування федеративними даними

Вступ до Databricks Lakehouse

Підсумок

$$

  • Lakehouse Federation запитує зовнішні дані без їх копіювання
  • Налаштуйте connection, створіть foreign catalog, запускайте запити стандартним SQL
  • Federate для доступу в реальному часі, низьких обсягів або обмежень комплаєнсу
  • Ingest для великих обсягів, повторюваних і критичних за продуктивністю навантажень
Вступ до Databricks Lakehouse

Давайте потренуємось!

Вступ до Databricks Lakehouse

Preparing Video For Download...