Unity Catalog и происхождение данных

Введение в Databricks Lakehouse

Gang Wang

Senior Data Scientist

Зачем нужно управление данными

Сотни таблиц в нескольких командах
«Имеет ли маркетинг доступ к финансовым данным клиентов?»
«Этот отчёт выглядит неверно — откуда вообще берутся данные?»
Unity Catalog даёт централизованные ответы

recraft: half: A maze of interconnected data pipelines and folders with question marks floating above them, representing the complexity of ungoverned data

Иерархия Unity Catalog

Unity Catalog hierarchy tree view

Metastore — один на аккаунт, верхний уровень
Каталоги — например, «production» или «development»
Схемы — группируют связанные объекты (например, «sales»)
Содержат таблицы, представления и функции

Управление доступом

-- Grant read access to a schema
GRANT SELECT
ON SCHEMA production.sales
TO `analytics_team`;

-- Revoke table-level access
REVOKE SELECT
ON TABLE production.sales.customers
FROM `intern_group`;

Права доступа на каждом уровне иерархии
Выдача SELECT, MODIFY, CREATE для каталогов, схем или таблиц
Наследование — права на каталог распространяются на все схемы внутри

Происхождение данных

Откуда взялись эти данные?

flowchart: bronze_orders (source), silver_orders (cleansed), gold_daily_revenue (aggregated), Revenue Dashboard (consumer)

Автоматическое отслеживание связей между таблицами по мере выполнения запросов
Трассировка исходных источников и зависимых потребителей

Происхождение данных на практике

Upstream — отследить источники данных
Downstream — увидеть, что зависит от этой таблицы
Анализ влияния — что сломается, если изменить столбец?
Отладка — отчёт показывает неверные числа, трассировка до источника

recraft: half: A detective with a magnifying glass examining a trail of connected documents and data tables, representing data lineage investigation

Итоги

Unity Catalog — централизованное управление всеми данными
Иерархия — metastore → каталог → схема
Управление доступом — SQL-права на каждом уровне, наследуемые вниз
Происхождение данных — автоматическое отслеживание потоков данных, upstream и downstream

Давайте потренируемся!

Введение в Databricks Lakehouse