Unity Catalog a lineage

Introduction to Databricks Lakehouse

Gang Wang

Senior Data Scientist

Proč záleží na správě dat

Stovky tabulek napříč mnoha týmy
„Má marketingový tým přístup k finančním datům zákazníků?"
„Tato zpráva vypadá špatně – odkud ta data vlastně pocházejí?"
Unity Catalog nabízí centralizované odpovědi

recraft: half: Bludiště propojených datových pipeline a složek s otazníky nad nimi, znázorňující složitost neřízených dat

Hierarchie Unity Catalog

Stromové zobrazení hierarchie Unity Catalog

Metastore – jeden na účet, kontejner nejvyšší úrovně
Katalogy – např. „production" nebo „development"
Schémata – seskupují související objekty (např. „sales")
Obsahují tabulky, pohledy a funkce

Řízení přístupu

-- Grant read access to a schema
GRANT SELECT
ON SCHEMA production.sales
TO `analytics_team`;

-- Revoke table-level access
REVOKE SELECT
ON TABLE production.sales.customers
FROM `intern_group`;

Oprávnění na každé úrovni hierarchie
Uděluj SELECT, MODIFY, CREATE na katalogy, schémata nebo tabulky
Dědičnost – oprávnění na katalogu se vztahuje na všechna schémata uvnitř

Data lineage

Odkud tato data pocházejí?

vývojový diagram: bronze_orders (zdroj), silver_orders (vyčištěno), gold_daily_revenue (agregováno), Revenue Dashboard (příjemce)

Automatické sledování vztahů mezi tabulkami při spouštění dotazů
Trasuj upstream zdroje i downstream příjemce

Lineage v praxi

Upstream – zjisti, odkud data pocházejí
Downstream – zjisti, co na tuto tabulku závisí
Analýza dopadu – pokud změním tento sloupec, co se rozbije?
Ladění chyb – zpráva ukazuje chybné hodnoty, trasuj zpět ke zdroji

recraft: half: Detektiv se zvětšovacím sklem zkoumá stopu propojených dokumentů a datových tabulek, znázorňující vyšetřování data lineage

Shrnutí

Unity Catalog – centralizovaná správa všech datových aktiv
Hierarchie – metastore → katalog → schéma
Řízení přístupu – SQL příkazy na každé úrovni, dědičnost dolů
Lineage – automatické sledování toku dat, upstream i downstream

Pojďme cvičit!

Introduction to Databricks Lakehouse