Lakehouse Federation

Introduction to Databricks Lakehouse

Gang Wang

Senior Data Scientist

Problém: datová sila

recraft: half: Několik oddělených ostrovů s datovými tabulkami a chybějícími mosty mezi nimi – znázornění datových sil v různých systémech

Data rozptýlená napříč více systémy
PostgreSQL, MySQL, Snowflake, SQL Server
Přesouvání dat je pomalé a vytváří kopie
Potřebuješ odpovědi pokrývající všechna tvoje data

Co je Lakehouse Federation?

architecture: Lakehouse Federation

Nastavení připojení

-- Create a connection
CREATE CONNECTION partner_pg
TYPE postgresql
OPTIONS (
  host 'db.partner.com',
  port '5432',
  user 'reader',
  password secret('scope', 'key')
);

-- Create a foreign catalog
CREATE FOREIGN CATALOG partner_db
USING CONNECTION partner_pg;

-- Query the external table
SELECT *
FROM partner_db.public.orders
LIMIT 10;

Federace, nebo ingest?

	Federace	Ingest
Přístup	V reálném čase	Dávková kopie
Objem dotazů	Nízký	Vysoký
Latence	Závisí na zdroji	Nízká
Compliance	Bez kopií	Data se přesouvají
Transformace	Omezené	Plný medallion

Federace pro přístup v reálném čase, nízký objem nebo compliance omezení
Ingest pro vysokoobjemové, opakované a výkonnostně náročné úlohy

Federace v Unity Catalog

Federované tabulky jsou součástí hierarchie Unity Catalog
Stejné řízení přístupu a lineage jako u lokálních tabulek
Federované tabulky lze spojovat s lokálními v jediném dotazu
Podporované zdroje: PostgreSQL, MySQL, Snowflake, SQL Server a další

recraft: half: Dvě moderní budovy propojené zářícím mostem datových toků s centrálním adresářem katalogu uprostřed – znázornění správy federovaných dat

Shrnutí

Lakehouse Federation dotazuje externí data bez jejich kopírování
Vytvoř připojení, zaregistruj foreign catalog, dotazuj se standardním SQL
Federace pro přístup v reálném čase, nízký objem nebo compliance omezení
Ingest pro vysokoobjemové, opakované a výkonnostně náročné úlohy

Pojďme cvičit!

Introduction to Databricks Lakehouse