Lakehouse Federation

Introducere în Databricks Lakehouse

Gang Wang

Senior Data Scientist

Problema: silozurile de date

$$

recraft: half: Mai multe insule izolate cu tabele de date pe fiecare insulă și poduri lipsă între ele, reprezentând silozuri de date între sisteme diferite

$$

  • Date răspândite în mai multe sisteme
  • PostgreSQL, MySQL, Snowflake, SQL Server
  • Mutarea datelor este lentă și creează copii
  • Ai nevoie de răspunsuri care să acopere toate datele tale
Introducere în Databricks Lakehouse

Ce este Lakehouse Federation?

$$

architecture: Lakehouse Federation

Introducere în Databricks Lakehouse

Configurarea unei conexiuni

$$

-- Create a connection
CREATE CONNECTION partner_pg
TYPE postgresql
OPTIONS (
  host 'db.partner.com',
  port '5432',
  user 'reader',
  password secret('scope', 'key')
);

$$

-- Create a foreign catalog
CREATE FOREIGN CATALOG partner_db
USING CONNECTION partner_pg;

-- Query the external table
SELECT *
FROM partner_db.public.orders
LIMIT 10;

Introducere în Databricks Lakehouse

Când să federezi vs. când să ingerezi

$$

Federare Ingestie
Acces În timp real Copie batch
Volum interogări Mic Mare
Latență Depinde de sursă Mică
Conformitate Fără copii Date mutate
Transformări Limitate Medallion complet

$$

  • Federare pentru acces în timp real, volum mic sau restricții de conformitate
  • Ingestie pentru volume mari, sarcini repetate sau critice ca performanță
Introducere în Databricks Lakehouse

Federarea în Unity Catalog

$$

  • Tabelele federate apar în ierarhia Unity Catalog
  • Același control al accesului și trasabilitate ca tabelele locale
  • Unești tabele federate cu tabele locale lakehouse într-o singură interogare
  • Surse suportate: PostgreSQL, MySQL, Snowflake, SQL Server și altele

$$

recraft: half: Două clădiri moderne conectate printr-un pod luminos de fluxuri de date, cu un catalog central în mijloc, reprezentând guvernanța datelor federate

Introducere în Databricks Lakehouse

Rezumat

$$

  • Lakehouse Federation interoghează date externe fără a le copia
  • Configurezi o conexiune, creezi un catalog extern, interoghezi cu SQL standard
  • Federare pentru acces în timp real, volum mic sau restricții de conformitate
  • Ingestie pentru volume mari, sarcini repetate sau critice ca performanță
Introducere în Databricks Lakehouse

Hai să exersăm!

Introducere în Databricks Lakehouse

Preparing Video For Download...