Lakehouse Federation

Introductie tot Databricks Lakehouse

Gang Wang

Senior Data Scientist

Het probleem: datasilo's

recraft: half: Meerdere losse eilanden met datatabellen op elk eiland en ontbrekende bruggen ertussen, die datasilo's over verschillende systemen voorstellen

Data verspreid over meerdere systemen
PostgreSQL, MySQL, Snowflake, SQL Server
Data verplaatsen is traag en maakt kopieën
Je wilt antwoorden die al je data omvatten

Wat is Lakehouse Federation?

architecture: Lakehouse Federation

Een verbinding opzetten

-- Create a connection
CREATE CONNECTION partner_pg
TYPE postgresql
OPTIONS (
  host 'db.partner.com',
  port '5432',
  user 'reader',
  password secret('scope', 'key')
);

-- Create a foreign catalog
CREATE FOREIGN CATALOG partner_db
USING CONNECTION partner_pg;

-- Query the external table
SELECT *
FROM partner_db.public.orders
LIMIT 10;

Wanneer federeren vs. wanneer inladen

	Federate	Ingest
Access	Real-time	Batchkopie
Query volume	Laag	Hoog
Latency	Afhankelijk van bron	Laag
Compliance	Geen kopieën nodig	Data verplaatst
Transforms	Beperkt	Vol medallion

Federate voor real-time, laag volume of beperkte toegang door compliance
Ingest voor hoog volume, herhaald en prestatiekritisch werk

Federation in Unity Catalog

Gefedereerde tabellen verschijnen in de Unity Catalog-hiërarchie
Zelfde toegangsbeheer en herkomst als lokale tabellen
Join gefedereerde tabellen met lokale lakehouse-tabellen in één query
Ondersteunde bronnen: PostgreSQL, MySQL, Snowflake, SQL Server en meer

recraft: half: Twee moderne gebouwen verbonden door een gloeiende brug van datastromen, met een centrale catalogusmap in het midden, die gefedereerd datagovernance voorstelt

Samenvatting

Lakehouse Federation queryt externe data zonder die te kopiëren
Richt een verbinding in, maak een foreign catalog, query met standaard SQL
Federate voor real-time, laag volume of beperkte toegang door compliance
Ingest voor hoog volume, herhaald en prestatiekritisch werk

Laten we oefenen!

Introductie tot Databricks Lakehouse