Lakehouse Federation

Introduzione a Databricks Lakehouse

Gang Wang

Senior Data Scientist

Il problema: data silo

$$

recraft: half: Isole scollegate con tabelle dati su ciascuna e ponti mancanti tra loro, a rappresentare i silos di dati tra sistemi diversi

$$

  • Dati distribuiti su più sistemi
  • PostgreSQL, MySQL, Snowflake, SQL Server
  • Spostare i dati è lento e crea copie
  • Ti servono risposte che coprano tutti i tuoi dati
Introduzione a Databricks Lakehouse

Che cos'è Lakehouse Federation?

$$

architecture: Lakehouse Federation

Introduzione a Databricks Lakehouse

Configurare una connessione

$$

-- Create a connection
CREATE CONNECTION partner_pg
TYPE postgresql
OPTIONS (
  host 'db.partner.com',
  port '5432',
  user 'reader',
  password secret('scope', 'key')
);

$$

-- Create a foreign catalog
CREATE FOREIGN CATALOG partner_db
USING CONNECTION partner_pg;

-- Query the external table
SELECT *
FROM partner_db.public.orders
LIMIT 10;

Introduzione a Databricks Lakehouse

Quando federare vs. quando ingestarre

$$

Federate Ingest
Accesso In tempo reale Copia batch
Volume query Basso Alto
Latenza Dipende dalla fonte Bassa
Conformità Nessuna copia necessaria I dati si muovono
Trasformazioni Limitate Medallion completa

$$

  • Federate per accesso in tempo reale, a basso volume o vincolato dalla conformità
  • Ingest per carichi ad alto volume, ripetuti e critici per le prestazioni
Introduzione a Databricks Lakehouse

Federation in Unity Catalog

$$

  • Le tabelle federate compaiono nella gerarchia di Unity Catalog
  • Stesso controllo accessi e lineage delle tabelle locali
  • Unisci tabelle federate e tabelle lakehouse locali in un'unica query
  • Sorgenti supportate: PostgreSQL, MySQL, Snowflake, SQL Server e altro

$$

recraft: half: Due edifici moderni collegati da un ponte luminoso di flussi di dati, con un catalogo centrale al centro, a rappresentare la governance federata dei dati

Introduzione a Databricks Lakehouse

Riepilogo

$$

  • Lakehouse Federation interroga dati esterni senza copiarli
  • Configura una connessione, crea un foreign catalog, interroga con SQL standard
  • Federate per accesso in tempo reale, a basso volume o vincolato dalla conformità
  • Ingest per carichi ad alto volume, ripetuti e critici per le prestazioni
Introduzione a Databricks Lakehouse

Esercitiamoci!

Introduzione a Databricks Lakehouse

Preparing Video For Download...