Liên kết Lakehouse

Giới thiệu về Databricks Lakehouse

Gang Wang

Senior Data Scientist

Vấn đề: silo dữ liệu

recraft: half: Nhiều hòn đảo rời rạc, mỗi đảo có bảng dữ liệu và thiếu cầu nối, tượng trưng cho silo dữ liệu giữa các hệ thống

Dữ liệu rải rác trên nhiều hệ thống
PostgreSQL, MySQL, Snowflake, SQL Server
Di chuyển dữ liệu chậm và tạo bản sao
Bạn cần câu trả lời bao quát toàn bộ dữ liệu

Lakehouse Federation là gì?

architecture: Liên kết Lakehouse

Thiết lập connection

-- Tạo connection
CREATE CONNECTION partner_pg
TYPE postgresql
OPTIONS (
  host 'db.partner.com',
  port '5432',
  user 'reader',
  password secret('scope', 'key')
);

-- Tạo foreign catalog
CREATE FOREIGN CATALOG partner_db
USING CONNECTION partner_pg;

-- Truy vấn bảng external
SELECT *
FROM partner_db.public.orders
LIMIT 10;

Khi nào federate và khi nào ingest

	Federate	Ingest
Truy cập	Thời gian thực	Sao chép theo lô
Khối lượng truy vấn	Thấp	Cao
Độ trễ	Phụ thuộc nguồn	Thấp
Tuân thủ	Không cần bản sao	Dữ liệu phải di chuyển
Biến đổi	Hạn chế	Đầy đủ theo medallion

Federate cho truy cập thời gian thực, khối lượng thấp, hoặc bị ràng buộc tuân thủ
Ingest cho khối lượng lớn, lặp lại, yêu cầu hiệu năng cao

Liên kết trong Unity Catalog

Bảng liên kết hiển thị trong cây phân cấp Unity Catalog
Chung kiểm soát truy cập và phả hệ như bảng cục bộ
Join bảng liên kết với bảng lakehouse cục bộ trong một truy vấn
Nguồn hỗ trợ: PostgreSQL, MySQL, Snowflake, SQL Server, và hơn thế nữa

recraft: half: Hai tòa nhà hiện đại nối bằng cây cầu dữ liệu phát sáng, có thư mục catalog trung tâm ở giữa, biểu thị quản trị dữ liệu liên kết

Tóm tắt

Lakehouse Federation truy vấn dữ liệu ngoài mà không cần sao chép
Thiết lập connection, tạo foreign catalog, truy vấn bằng SQL chuẩn
Federate cho truy cập thời gian thực, khối lượng thấp, hoặc bị ràng buộc tuân thủ
Ingest cho khối lượng lớn, lặp lại, yêu cầu hiệu năng cao

Cùng luyện tập nào!

Giới thiệu về Databricks Lakehouse