Unity Catalog en herkomst

Introductie tot Databricks Lakehouse

Gang Wang

Senior Data Scientist

Waarom governance telt

Honderden tabellen over meerdere teams
"Kan het marketingteam klantfinanciële data zien?"
"Dit rapport klopt niet — waar komt de onderliggende data vandaan?"
Unity Catalog centraliseert de antwoorden

recraft: half: Een doolhof van verbonden datapijplijnen en mappen met vraagtekens erboven, dat de complexiteit van ongecontroleerde data voorstelt

De Unity Catalog-hiërarchie

Boomweergave van de Unity Catalog-hiërarchie

Metastore - één per account, container op hoogste niveau
Catalogs - zoals "production" of "development"
Schemas - groeperen verwante objecten (bijv. "sales")
Bevat tables, views en functions

Toegangsbeheer

-- Grant read access to a schema
GRANT SELECT
ON SCHEMA production.sales
TO `analytics_team`;

-- Revoke table-level access
REVOKE SELECT
ON TABLE production.sales.customers
FROM `intern_group`;

Rechten op elk niveau van de hiërarchie
Verleen SELECT, MODIFY, CREATE op catalogs, schemas of tables
Geërfd — rechten op een catalog gelden voor alle schemas erin

Data lineage

Waar komt deze data vandaan?

stroomschema: bronze_orders (bron), silver_orders (opgeschoond), gold_daily_revenue (geaggregeerd), Revenue Dashboard (afnemer)

Automatische tracking van tabel-naar-tabelrelaties tijdens queries
Traceer upstream bronnen en downstream afnemers

Lineage in de praktijk

Upstream - herleid waar data vandaan komt
Downstream - zie wat van deze tabel afhankelijk is
Impactanalyse - als ik deze kolom wijzig, wat gaat er stuk?
Debuggen - toont een rapport foute cijfers, ga terug naar de bron

recraft: half: Een detective met een vergrootglas die een spoor van verbonden documenten en datatabellen onderzoekt, wat data lineage-onderzoek voorstelt

Samenvatting

Unity Catalog - gecentraliseerd beheer voor alle data-assets
Hiërarchie - metastore → catalog → schema
Toegangsbeheer - SQL-grants op elk niveau, erven naar beneden
Lineage - automatische tracking van datastromen, upstream en downstream

Laten we oefenen!

Introductie tot Databricks Lakehouse