Lakehouse 联邦

Databricks Lakehouse 入门

Gang Wang

Senior Data Scientist

问题：数据孤岛

$$

recraft: half: 多个彼此隔绝的小岛，每个岛上都有数据表，岛间无桥，代表分散在不同系统中的数据孤岛

$$

  • 数据分散在多个系统中
  • PostgreSQL、MySQL、Snowflake、SQL Server
  • 移动数据很慢且会产生副本
  • 您需要覆盖全部数据的答案
Databricks Lakehouse 入门

什么是 Lakehouse 联邦？

$$

architecture: Lakehouse 联邦

Databricks Lakehouse 入门

连接设置

$$

-- Create a connection
CREATE CONNECTION partner_pg
TYPE postgresql
OPTIONS (
  host 'db.partner.com',
  port '5432',
  user 'reader',
  password secret('scope', 'key')
);

$$

-- Create a foreign catalog
CREATE FOREIGN CATALOG partner_db
USING CONNECTION partner_pg;

-- Query the external table
SELECT *
FROM partner_db.public.orders
LIMIT 10;

Databricks Lakehouse 入门

何时联邦，何时摄取

$$

Federate Ingest
Access 实时 批量拷贝
Query volume 低 高
Latency 依赖源头 低
Compliance 无需副本 数据搬移
Transforms 受限 完整 medallion

$$

  • Federate：适合实时、低量或受合规限制的访问
  • Ingest：适合高量、重复、性能关键的工作负载
Databricks Lakehouse 入门

Unity Catalog 中的联邦

$$

  • 联邦表出现在 Unity Catalog 层级中
  • 与本地表享有相同的访问控制与血缘
  • 在一条查询中将联邦表与本地 lakehouse 表进行连接
  • 支持来源：PostgreSQL、MySQL、Snowflake、SQL Server 等

$$

recraft: half: 两栋现代建筑由发光的数据流桥连接，中间有中央目录，表示联邦数据治理

Databricks Lakehouse 入门

小结

$$

  • Lakehouse 联邦可在不复制数据的情况下查询外部数据
  • 设置连接，创建外部目录，用标准 SQL 查询
  • Federate：适合实时、低量或受合规限制的访问
  • Ingest：适合高量、重复、性能关键的工作负载
Databricks Lakehouse 入门

让我们一起练习吧！

Databricks Lakehouse 入门

Preparing Video For Download...