Unity Catalog och dataursprung

Introduktion till Databricks Lakehouse

Gang Wang

Senior Data Scientist

Varför datastyrning är viktigt

Hundratals tabeller spridda över flera team
"Får marknadsföringsteamet se kundernas finansiella data?"
"Den här rapporten verkar fel – var kommer datan egentligen ifrån?"
Unity Catalog samlar svaren på ett ställe

recraft: half: En labyrint av sammankopplade datapipelines och mappar med frågetecken ovanför dem, som illustrerar komplexiteten hos ostyrda data

Unity Catalog-hierarkin

Hierarkisk trädvy för Unity Catalog

Metastore – en per konto, container på toppnivå
Kataloger – till exempel "production" eller "development"
Scheman – grupperar relaterade objekt (t.ex. "sales")
Innehåller tabeller, vyer och funktioner

Åtkomstkontroll

-- Grant read access to a schema
GRANT SELECT
ON SCHEMA production.sales
TO `analytics_team`;

-- Revoke table-level access
REVOKE SELECT
ON TABLE production.sales.customers
FROM `intern_group`;

Behörigheter på varje nivå i hierarkin
Tilldela SELECT, MODIFY, CREATE på kataloger, scheman eller tabeller
Ärvda – en behörighet på katalognivå gäller för alla scheman inom den

Dataursprung

Var kommer den här datan ifrån?

flödesschema: bronze_orders (källa), silver_orders (rensad), gold_daily_revenue (aggregerad), Revenue Dashboard (konsument)

Automatisk spårning av tabell-till-tabell-relationer när frågor körs
Spåra uppströmskällor och nedströmskonsumenter

Dataursprung i praktiken

Uppströms – spåra var datan kommer ifrån
Nedströms – se vad som är beroende av den här tabellen
Konsekvensanalys – om jag ändrar den här kolumnen, vad slutar fungera?
Felsökning – en rapport visar fel siffror, spåra tillbaka till källan

recraft: half: En detektiv med ett förstoringsglas som undersöker en kedja av sammankopplade dokument och datatabeller, som illustrerar utredning av dataursprung

Sammanfattning

Unity Catalog – centraliserad styrning av alla datatillgångar
Hierarki – metastore → katalog → schema
Åtkomstkontroll – SQL-behörigheter på varje nivå, ärvda nedåt
Dataursprung – automatisk spårning av dataflöden, uppströms och nedströms

Nu kör vi en övning!

Introduktion till Databricks Lakehouse