Federación en Lakehouse

Introducción a Databricks Lakehouse

Gang Wang

Senior Data Scientist

El problema: silos de datos

recraft: half: Varias islas desconectadas con tablas de datos en cada isla y sin puentes entre ellas, que representan silos de datos en distintos sistemas

Datos repartidos en múltiples sistemas
PostgreSQL, MySQL, Snowflake, SQL Server
Mover datos es lento y crea copias
Necesitas respuestas que abarquen todos tus datos

¿Qué es la Federación en Lakehouse?

architecture: Federación en Lakehouse

Configurar una conexión

-- Create a connection
CREATE CONNECTION partner_pg
TYPE postgresql
OPTIONS (
  host 'db.partner.com',
  port '5432',
  user 'reader',
  password secret('scope', 'key')
);

-- Create a foreign catalog
CREATE FOREIGN CATALOG partner_db
USING CONNECTION partner_pg;

-- Query the external table
SELECT *
FROM partner_db.public.orders
LIMIT 10;

Cuándo federar vs. cuándo ingerir

	Federate	Ingest
Access	En tiempo real	Copia por lotes
Query volume	Bajo	Alto
Latency	Dependiente del origen	Baja
Compliance	Sin copias	Los datos se mueven
Transforms	Limitadas	Medallion completo

Federate para acceso en tiempo real, bajo volumen o con restricciones de cumplimiento
Ingest para cargas de alto volumen, repetidas y críticas en rendimiento

Federación en Unity Catalog

Las tablas federadas aparecen en la jerarquía de Unity Catalog
Mismo control de acceso y linaje que las tablas locales
Une tablas federadas con tablas locales del lakehouse en una sola consulta
Orígenes compatibles: PostgreSQL, MySQL, Snowflake, SQL Server y más

recraft: half: Dos edificios modernos conectados por un puente luminoso de flujos de datos, con un directorio central de catálogo en medio, que representa el gobierno de datos federados

Resumen

Lakehouse Federation consulta datos externos sin copiarlos
Configura una conexión, crea un catálogo externo y consulta con SQL estándar
Federate para acceso en tiempo real, bajo volumen o con restricciones de cumplimiento
Ingest para cargas de alto volumen, repetidas y críticas en rendimiento

¡Vamos a practicar!

Introducción a Databricks Lakehouse