Unity Catalog y linaje

Introducción a Databricks Lakehouse

Gang Wang

Senior Data Scientist

Por qué importa el gobierno de datos

Cientos de tablas en varios equipos
«¿Puede marketing ver datos financieros de clientes?»
«Este informe parece mal: ¿de dónde viene realmente el dato?»
Unity Catalog centraliza las respuestas

recraft: half: Un laberinto de canalizaciones de datos y carpetas interconectadas con signos de interrogación flotando encima, que representa la complejidad de datos sin gobierno

La jerarquía de Unity Catalog

Vista en árbol de la jerarquía de Unity Catalog

Metastore: uno por cuenta, contenedor de nivel superior
Catálogos: como «production» o «development»
Esquemas: agrupan objetos relacionados (p. ej., «sales»)
Contiene tablas, vistas y funciones

Control de acceso

-- Conceder acceso de lectura a un esquema
GRANT SELECT
ON SCHEMA production.sales
TO `analytics_team`;

-- Revocar acceso a nivel de tabla
REVOKE SELECT
ON TABLE production.sales.customers
FROM `intern_group`;

Permisos en cada nivel de la jerarquía
Concede SELECT, MODIFY, CREATE en catálogos, esquemas o tablas
Heredados: lo concedido en un catálogo aplica a todos sus esquemas

Linaje de datos

¿De dónde vino este dato?

diagrama de flujo: bronze_orders (origen), silver_orders (depurado), gold_daily_revenue (agregado), Revenue Dashboard (consumidor)

Seguimiento automático de relaciones entre tablas al ejecutar consultas
Rastrea orígenes upstream y consumidores downstream

Linaje en la práctica

Upstream: rastrea de dónde viene el dato
Downstream: ve qué depende de esta tabla
Análisis de impacto: si cambio esta columna, ¿qué falla?
Depuración: un informe da números erróneos, retrocede hasta el origen

recraft: half: Una persona detective con una lupa examina una cadena de documentos y tablas de datos conectados, representando la investigación del linaje de datos

Resumen

Unity Catalog: gobierno centralizado para todos los activos de datos
Jerarquía: metastore → catálogo → esquema
Control de acceso: concesiones SQL en cada nivel, heredadas hacia abajo
Linaje: seguimiento automático del flujo de datos, upstream y downstream

¡Vamos a practicar!

Introducción a Databricks Lakehouse