Unity Catalog și Lineage

Introducere în Databricks Lakehouse

Gang Wang

Senior Data Scientist

De ce contează guvernanța

Sute de tabele în echipe multiple
"Poate echipa de marketing vedea datele financiare ale clienților?"
"Raportul pare greșit – de unde vin datele de bază?"
Unity Catalog centralizează răspunsurile

recraft: half: Un labirint de pipeline-uri de date și foldere interconectate, cu semne de întrebare plutind deasupra, reprezentând complexitatea datelor negovernat

Ierarhia Unity Catalog

Vizualizare ierarhică Unity Catalog

Metastore - unul per cont, container de nivel superior
Cataloage - de exemplu "production" sau "development"
Scheme - grupează obiecte înrudite (ex. "sales")
Conține tabele, vizualizări și funcții

Controlul accesului

-- Grant read access to a schema
GRANT SELECT
ON SCHEMA production.sales
TO `analytics_team`;

-- Revoke table-level access
REVOKE SELECT
ON TABLE production.sales.customers
FROM `intern_group`;

Permisiuni la fiecare nivel al ierarhiei
Acordă SELECT, MODIFY, CREATE pe cataloage, scheme sau tabele
Moștenire – permisiunea pe un catalog se aplică tuturor schemelor din el

Lineage-ul datelor

De unde provin aceste date?

flowchart: bronze_orders (sursă), silver_orders (curățat), gold_daily_revenue (agregat), Revenue Dashboard (consumator)

Urmărire automată a relațiilor dintre tabele pe măsură ce rulează interogările
Trasează sursele upstream și consumatorii downstream

Lineage în practică

Upstream – identifici de unde provin datele
Downstream – vezi ce depinde de acest tabel
Analiza impactului – dacă modific această coloană, ce se strică?
Depanare – un raport afișează cifre greșite, urmărești înapoi până la sursă

recraft: half: Un detectiv cu lupă examinând un șir de documente și tabele de date conectate, reprezentând investigarea lineage-ului datelor

Rezumat

Unity Catalog – guvernanță centralizată pentru toate activele de date
Ierarhie – metastore → catalog → schemă
Control acces – granturi SQL la fiecare nivel, moștenite în jos
Lineage – urmărire automată a fluxului de date, upstream și downstream

Hai să exersăm!

Introducere în Databricks Lakehouse