Unity Catalog e linhagem de dados

Introdução ao Databricks Lakehouse

Gang Wang

Senior Data Scientist

Por que a governança importa

$$

  • Centenas de tabelas em várias equipes
  • "A equipe de marketing pode ver dados financeiros de clientes?"
  • "Este relatório parece errado — de onde vem os dados base?"
  • Unity Catalog centraliza as respostas

$$

recraft: half: Um labirinto de pipelines e pastas de dados interconectados com pontos de interrogação acima, representando a complexidade de dados sem governança

Introdução ao Databricks Lakehouse

A hierarquia do Unity Catalog

$$

Visão em árvore da hierarquia do Unity Catalog

$$

  • Metastore - um por conta, contêiner de nível superior
  • Catálogos - como "produção" ou "desenvolvimento"
  • Esquemas - agrupam objetos relacionados (ex.: "vendas")
  • Contém tabelas, views e funções
Introdução ao Databricks Lakehouse

Controle de acesso

$$

-- Conceder acesso de leitura a um esquema
GRANT SELECT
ON SCHEMA production.sales
TO `analytics_team`;

-- Revogar acesso no nível de tabela
REVOKE SELECT
ON TABLE production.sales.customers
FROM `intern_group`;

$$

  • Permissões em todos os níveis da hierarquia
  • Conceda SELECT, MODIFY, CREATE em catálogos, esquemas ou tabelas
  • Herdadas — concessões em um catálogo valem para todos os esquemas dentro dele
Introdução ao Databricks Lakehouse

Linhas de linhagem de dados

De onde veio este dado?

$$

fluxograma: bronze_orders (fonte), silver_orders (limpos), gold_daily_revenue (agregado), Revenue Dashboard (consumidor)

$$

  • Rastreamento automático de relações entre tabelas conforme as queries rodam
  • Rastreie fontes upstream e consumidores downstream
Introdução ao Databricks Lakehouse

Linhagem na prática

$$

  • Upstream - rastreie de onde os dados vêm
  • Downstream - veja o que depende desta tabela
  • Análise de impacto - se eu mudar esta coluna, o que quebra?
  • Depuração - um relatório mostra números errados? Volte até a fonte

$$

recraft: half: Um detetive com uma lupa examinando uma trilha de documentos e tabelas de dados conectados, representando a investigação de linhagem de dados

Introdução ao Databricks Lakehouse

Resumo

$$

  • Unity Catalog - governança centralizada para todos os ativos de dados
  • Hierarquia - metastore → catálogo → esquema
  • Controle de acesso - concessões SQL em todos os níveis, herdadas para baixo
  • Linhagem - rastreamento automático do fluxo de dados, upstream e downstream
Introdução ao Databricks Lakehouse

Vamos praticar!

Introdução ao Databricks Lakehouse

Preparing Video For Download...