Unity Catalog e lineage

Introduzione a Databricks Lakehouse

Gang Wang

Senior Data Scientist

Perché la governance è importante

Centinaia di tabelle tra più team
«Il team marketing può vedere i dati finanziari dei clienti?»
«Questo report sembra sbagliato: da dove arrivano davvero i dati?»
Unity Catalog centralizza le risposte

recraft: half: Un labirinto di pipeline e cartelle di dati interconnesse con punti interrogativi sopra, a rappresentare la complessità di dati senza governance

La gerarchia di Unity Catalog

Vista ad albero della gerarchia di Unity Catalog

Metastore - uno per account, contenitore di livello superiore
Cataloghi - tipo "production" o "development"
Schemi - raggruppano oggetti correlati (es. "sales")
Contiene tabelle, viste e funzioni

Controllo degli accessi

-- Concedi accesso in lettura a uno schema
GRANT SELECT
ON SCHEMA production.sales
TO `analytics_team`;

-- Revoca l'accesso a livello tabella
REVOKE SELECT
ON TABLE production.sales.customers
FROM `intern_group`;

Permessi a ogni livello della gerarchia
Concedi SELECT, MODIFY, CREATE su cataloghi, schemi o tabelle
Ereditarietà: una concessione su un catalogo vale per tutti gli schemi al suo interno

Data lineage

Da dove provengono questi dati?

flowchart: bronze_orders (fonte), silver_orders (ripulito), gold_daily_revenue (aggregato), Revenue Dashboard (consumatore)

Tracciamento automatico delle relazioni tra tabelle durante l'esecuzione delle query
Traccia le sorgenti upstream e i consumatori downstream

Lineage in pratica

Upstream - traccia da dove arrivano i dati
Downstream - vedi cosa dipende da questa tabella
Analisi d'impatto - se cambio questa colonna, cosa si rompe?
Debug - un report mostra numeri errati, risali alla fonte

recraft: half: Un detective con una lente d'ingrandimento che esamina una traccia di documenti e tabelle dati collegati, a rappresentare l'indagine sulla data lineage

Riepilogo

Unity Catalog - governance centralizzata per tutti gli asset di dati
Gerarchia - metastore → catalog → schema
Controllo accessi - grant SQL a ogni livello, ereditati verso il basso
Lineage - tracciamento automatico del flusso dati, upstream e downstream

Esercitiamoci!

Introduzione a Databricks Lakehouse