Federação no Lakehouse

Introdução ao Databricks Lakehouse

Gang Wang

Senior Data Scientist

O problema: silos de dados

$$

recraft: half: Ilhas desconectadas com tabelas de dados em cada ilha e pontes ausentes, representando silos de dados entre sistemas

$$

  • Dados espalhados por vários sistemas
  • PostgreSQL, MySQL, Snowflake, SQL Server
  • Mover dados é lento e gera cópias
  • Você precisa de respostas que cubram todo o seu dado
Introdução ao Databricks Lakehouse

O que é Federação no Lakehouse?

$$

architecture: Federação no Lakehouse

Introdução ao Databricks Lakehouse

Configurando uma conexão

$$

-- Create a connection
CREATE CONNECTION partner_pg
TYPE postgresql
OPTIONS (
  host 'db.partner.com',
  port '5432',
  user 'reader',
  password secret('scope', 'key')
);

$$

-- Create a foreign catalog
CREATE FOREIGN CATALOG partner_db
USING CONNECTION partner_pg;

-- Query the external table
SELECT *
FROM partner_db.public.orders
LIMIT 10;

Introdução ao Databricks Lakehouse

Quando federar vs. quando ingerir

$$

Federar Ingerir
Acesso Em tempo real Cópia em lote
Volume de consultas Baixo Alto
Latência Depende da fonte Baixa
Conformidade Sem cópias Dados se movem
Transformações Limitadas Medallion completa

$$

  • Federar para acesso em tempo real, baixo volume ou com restrições de conformidade
  • Ingerir para cargas de alto volume, repetidas e críticas de desempenho
Introdução ao Databricks Lakehouse

Federação no Unity Catalog

$$

  • Tabelas federadas aparecem na hierarquia do Unity Catalog
  • Mesmo controle de acesso e linhagem que tabelas locais
  • Faça join de tabelas federadas com tabelas locais do lakehouse em uma única consulta
  • Fontes compatíveis: PostgreSQL, MySQL, Snowflake, SQL Server e mais

$$

recraft: half: Dois prédios modernos conectados por uma ponte luminosa de fluxos de dados, com um diretório central de catálogo no meio, representando governança de dados federada

Introdução ao Databricks Lakehouse

Resumo

$$

  • A Federação no Lakehouse consulta dados externos sem copiá-los
  • Configure uma conexão, crie um catálogo externo e consulte com SQL padrão
  • Federar para acesso em tempo real, baixo volume ou com restrições de conformidade
  • Ingerir para cargas de alto volume, repetidas e críticas de desempenho
Introdução ao Databricks Lakehouse

Vamos praticar!

Introdução ao Databricks Lakehouse

Preparing Video For Download...