Lakehouse 聯邦架構

Databricks Lakehouse 入門

Gang Wang

Senior Data Scientist

問題：資料孤島

$$

重繪：半幅：多座彼此不相連的小島，各島上有資料表，島間沒有橋，象徵分散在不同系統的資料孤島

$$

  • 資料分散在多個系統
  • PostgreSQL、MySQL、Snowflake、SQL Server
  • 移動資料很慢且會產生副本
  • 你需要涵蓋所有資料的答案
Databricks Lakehouse 入門

什麼是 Lakehouse Federation？

$$

架構：Lakehouse Federation

Databricks Lakehouse 入門

設定連線

$$

-- Create a connection
CREATE CONNECTION partner_pg
TYPE postgresql
OPTIONS (
  host 'db.partner.com',
  port '5432',
  user 'reader',
  password secret('scope', 'key')
);

$$

-- Create a foreign catalog
CREATE FOREIGN CATALOG partner_db
USING CONNECTION partner_pg;

-- Query the external table
SELECT *
FROM partner_db.public.orders
LIMIT 10;

Databricks Lakehouse 入門

何時使用 federate，何時使用 ingest

$$

Federate Ingest
Access 即時 批次複製
Query volume 低 高
Latency 依來源而定 低
Compliance 無需副本 需搬移資料
Transforms 受限 完整 medallion

$$

  • Federate：用於即時、低量或受法規限制的存取
  • Ingest：用於高量、重複、效能關鍵的工作負載
Databricks Lakehouse 入門

Unity Catalog 中的聯邦

$$

  • 聯邦表會出現在 Unity Catalog 階層中
  • 與本地表相同的存取控制與血緣
  • 在單一查詢中將聯邦表與本地 lakehouse 表做 join
  • 支援來源：PostgreSQL、MySQL、Snowflake、SQL Server 等

$$

重繪：半幅：兩棟現代建築由發光的資料流之橋連結，中間有中央型錄目錄，代表聯邦式資料治理

Databricks Lakehouse 入門

重點整理

$$

  • Lakehouse Federation 可不複製就查詢外部資料
  • 設定連線、建立外部型錄，用標準 SQL 查詢
  • Federate：適合即時、低量或受法規限制的存取
  • Ingest：適合高量、重複、效能關鍵的工作負載
Databricks Lakehouse 入門

一起來練習吧！

Databricks Lakehouse 入門

Preparing Video For Download...