Unity Catalog i pochodzenie danych

Wprowadzenie do Databricks Lakehouse

Gang Wang

Senior Data Scientist

Dlaczego zarządzanie danymi jest ważne

Setki tabel rozsianych po wielu zespołach
„Czy zespół marketingu ma dostęp do finansowych danych klientów?"
„Ten raport wygląda na błędny – skąd właściwie pochodzą te dane?"
Unity Catalog to jedno miejsce z odpowiedziami

recraft: half: Labirynt połączonych potoków danych i folderów z unoszącymi się nad nimi znakami zapytania, symbolizujący złożoność danych bez nadzoru

Hierarchia Unity Catalog

Widok hierarchii Unity Catalog w postaci drzewa

Metastore – jeden na konto, nadrzędny kontener
Katalogi – np. „production" lub „development"
Schematy – grupują powiązane obiekty (np. „sales")
Zawierają tabele, widoki i funkcje

Kontrola dostępu

-- Grant read access to a schema
GRANT SELECT
ON SCHEMA production.sales
TO `analytics_team`;

-- Revoke table-level access
REVOKE SELECT
ON TABLE production.sales.customers
FROM `intern_group`;

Uprawnienia na każdym poziomie hierarchii
Nadawaj SELECT, MODIFY, CREATE dla katalogów, schematów lub tabel
Dziedziczenie – uprawnienie nadane dla katalogu obejmuje wszystkie schematy w nim zawarte

Pochodzenie danych

Skąd pochodzą te dane?

schemat blokowy: bronze_orders (źródło), silver_orders (oczyszczone), gold_daily_revenue (zagregowane), Revenue Dashboard (odbiorca)

Automatyczne śledzenie zależności między tabelami w trakcie wykonywania zapytań
Prześledzenie źródeł upstream i odbiorców downstream

Pochodzenie danych w praktyce

Upstream – sprawdź, skąd pochodzą dane
Downstream – zobacz, co zależy od tej tabeli
Analiza wpływu – jeśli zmienię tę kolumnę, co przestanie działać?
Debugowanie – raport pokazuje błędne liczby, wróć do źródła

recraft: half: Detektyw z lupą badający ślad połączonych dokumentów i tabel danych, symbolizujący śledzenie pochodzenia danych

Podsumowanie

Unity Catalog – centralne zarządzanie wszystkimi zasobami danych
Hierarchia – metastore → katalog → schemat
Kontrola dostępu – uprawnienia SQL na każdym poziomie, dziedziczone w dół
Pochodzenie danych – automatyczne śledzenie przepływu danych: upstream i downstream

Czas na praktykę!

Wprowadzenie do Databricks Lakehouse