Unity Catalog und Lineage

Einführung in das Databricks Lakehouse

Gang Wang

Senior Data Scientist

Warum Governance wichtig ist

Hunderte Tabellen über mehrere Teams hinweg
„Kann das Marketingteam Kundendaten aus dem Finanzbereich sehen?"
„Dieser Bericht wirkt falsch – woher stammen die zugrunde liegenden Daten?"
Unity Catalog bündelt die Antworten

recraft: half: Ein Labyrinth aus verknüpften Datenpipelines und Ordnern mit schwebenden Fragezeichen, das die Komplexität ungeregelter Daten darstellt

Die Unity-Catalog-Hierarchie

Unity Catalog-Hierarchiebaumansicht

Metastore – einmal pro Account, Container auf oberster Ebene
Catalogs – z. B. „production" oder „development"
Schemas – gruppieren verwandte Objekte (z. B. „sales")
Enthält tables, views und functions

Zugriffskontrolle

-- Lesezugriff auf ein Schema gewähren
GRANT SELECT
ON SCHEMA production.sales
TO `analytics_team`;

-- Tabellenzugriff entziehen
REVOKE SELECT
ON TABLE production.sales.customers
FROM `intern_group`;

Berechtigungen auf jeder Ebene der Hierarchie
SELECT, MODIFY, CREATE auf Catalogs, Schemas oder Tabellen gewähren
Vererbt – Grant auf einem Catalog gilt für alle enthaltenen Schemas

Data Lineage

Woher kamen diese Daten?

flowchart: bronze_orders (Quelle), silver_orders (bereinigt), gold_daily_revenue (aggregiert), Revenue Dashboard (Verbraucher)

Automatisches Tracking von Tabellenbeziehungen beim Ausführen von Abfragen
Upstream-Quellen und Downstream-Verbraucher nachverfolgen

Lineage in der Praxis

Upstream – zurückverfolgen, woher Daten stammen
Downstream – sehen, was von dieser Tabelle abhängt
Impact-Analyse – wenn ich diese Spalte ändere, was bricht?
Debugging – ein Bericht zeigt falsche Zahlen, bis zur Quelle zurückverfolgen

recraft: half: Eine Detektivfigur mit Lupe untersucht eine Spur verbundener Dokumente und Datentabellen, stellvertretend für Data-Lineage-Analyse

Zusammenfassung

Unity Catalog – zentrale Governance für alle Daten-Assets
Hierarchie – Metastore → Catalog → Schema
Zugriffskontrolle – SQL-Grants auf jeder Ebene, nach unten vererbt
Lineage – automatisches Tracking des Datenflusses, upstream und downstream

Lass uns üben!

Einführung in das Databricks Lakehouse