Lakehouse Federation

Wprowadzenie do Databricks Lakehouse

Gang Wang

Senior Data Scientist

Problem: silosy danych

$$

recraft: half: Multiple disconnected islands with data tables on each island and bridges missing between them, representing data silos across different systems

$$

  • Dane rozproszone po wielu systemach
  • PostgreSQL, MySQL, Snowflake, SQL Server
  • Przenoszenie danych jest wolne i tworzy kopie
  • Potrzebujesz odpowiedzi obejmujących wszystkie dane
Wprowadzenie do Databricks Lakehouse

Czym jest Lakehouse Federation?

$$

architecture: Lakehouse Federation

Wprowadzenie do Databricks Lakehouse

Konfigurowanie połączenia

$$

-- Create a connection
CREATE CONNECTION partner_pg
TYPE postgresql
OPTIONS (
  host 'db.partner.com',
  port '5432',
  user 'reader',
  password secret('scope', 'key')
);

$$

-- Create a foreign catalog
CREATE FOREIGN CATALOG partner_db
USING CONNECTION partner_pg;

-- Query the external table
SELECT *
FROM partner_db.public.orders
LIMIT 10;

Wprowadzenie do Databricks Lakehouse

Kiedy federować, a kiedy pozyskiwać dane?

$$

Federacja Pozyskiwanie
Dostęp W czasie rzeczywistym Kopia wsadowa
Wolumen zapytań Niski Wysoki
Opóźnienie Zależne od źródła Niskie
Zgodność Bez kopii Dane się przemieszczają
Transformacje Ograniczone Pełny medallion

$$

  • Federacja — przy dostępie w czasie rzeczywistym, małym wolumenie lub wymogach zgodności
  • Pozyskiwanie — przy dużym wolumenie, powtarzalnych i wydajnościowych obciążeniach
Wprowadzenie do Databricks Lakehouse

Federacja w Unity Catalog

$$

  • Tabele sfederowane widoczne są w hierarchii Unity Catalog
  • Taka sama kontrola dostępu i śledzenie pochodzenia jak dla tabel lokalnych
  • Łącz tabele sfederowane z lokalnymi w jednym zapytaniu
  • Obsługiwane źródła: PostgreSQL, MySQL, Snowflake, SQL Server i inne

$$

recraft: half: Two modern buildings connected by a glowing bridge of data streams, with a central catalog directory in the middle, representing federated data governance

Wprowadzenie do Databricks Lakehouse

Podsumowanie

$$

  • Lakehouse Federation odpytuje zewnętrzne dane bez ich kopiowania
  • Skonfiguruj połączenie, utwórz obcy katalog i odpytuj standardowym SQL
  • Federuj przy dostępie w czasie rzeczywistym, małym wolumenie lub wymogach zgodności
  • Pozyskuj dane przy dużym wolumenie, powtarzalnych i wydajnościowych obciążeniach
Wprowadzenie do Databricks Lakehouse

Czas na praktykę!

Wprowadzenie do Databricks Lakehouse

Preparing Video For Download...