Lakehouse Federation

Introduktion till Databricks Lakehouse

Gang Wang

Senior Data Scientist

Problemet: datasilor

recraft: half: Flera separata öar med datatabeller på varje ö och saknade broar mellan dem, vilket representerar datasilor i olika system

Data spritt över flera system
PostgreSQL, MySQL, Snowflake, SQL Server
Att flytta data är långsamt och skapar kopior
Du behöver svar som spänner över all din data

Vad är Lakehouse Federation?

architecture: Lakehouse Federation

Konfigurera en anslutning

-- Create a connection
CREATE CONNECTION partner_pg
TYPE postgresql
OPTIONS (
  host 'db.partner.com',
  port '5432',
  user 'reader',
  password secret('scope', 'key')
);

-- Create a foreign catalog
CREATE FOREIGN CATALOG partner_db
USING CONNECTION partner_pg;

-- Query the external table
SELECT *
FROM partner_db.public.orders
LIMIT 10;

Federera eller hämta in?

	Federera	Hämta in
Åtkomst	Realtid	Batchkopia
Frågevolym	Låg	Hög
Latens	Källberoende	Låg
Regelefterlevnad	Inga kopior	Data flyttas
Transformationer	Begränsade	Fullt medallion

Federera för realtidsåtkomst, låg volym eller åtkomst med efterlevnadskrav
Hämta in för hög volym, upprepade och prestandakritiska arbetsbelastningar

Federation i Unity Catalog

Federerade tabeller visas i Unity Catalog-hierarkin
Samma åtkomstkontroll och härstamning som lokala tabeller
Joina federerade tabeller med lokala lakehouse-tabeller i en enda fråga
Källor som stöds: PostgreSQL, MySQL, Snowflake, SQL Server med flera

recraft: half: Två moderna byggnader förbundna av en lysande brygga av dataströmmar med en central katalogkatalog i mitten, vilket representerar federerad datastyrning

Sammanfattning

Lakehouse Federation frågar extern data utan att kopiera den
Skapa en anslutning, en foreign catalog, och fråga med standard-SQL
Federera för realtidsåtkomst, låg volym eller efterlevnadskrav
Hämta in för hög volym, upprepade och prestandakritiska arbetsbelastningar

Nu kör vi en övning!

Introduktion till Databricks Lakehouse