Unity Catalog과 데이터 계보

Databricks Lakehouse 입문

Gang Wang

Senior Data Scientist

거버넌스가 중요한 이유

여러 팀에 걸쳐 수백 개의 테이블
"마케팅 팀이 고객 금융 데이터를 볼 수 있나요?"
"이 리포트가 이상한데 - 원본 데이터는 어디서 오는 건가요?"
Unity Catalog이 해답을 한곳에 제공합니다

recraft: half: 거버넌스가 없는 데이터의 복잡성을 표현한, 물음표가 떠 있는 복잡하게 얽힌 데이터 파이프라인과 폴더들

Unity Catalog 계층 구조

Unity Catalog 계층 트리 뷰

메타스토어(Metastore) - 계정당 하나, 최상위 컨테이너
카탈로그(Catalogs) - "production" 또는 "development" 등
스키마(Schemas) - 관련 객체를 묶음 (예: "sales")
테이블, 뷰, 함수를 포함

접근 제어

-- Grant read access to a schema
GRANT SELECT
ON SCHEMA production.sales
TO `analytics_team`;

-- Revoke table-level access
REVOKE SELECT
ON TABLE production.sales.customers
FROM `intern_group`;

계층의 모든 수준에서 권한 설정 가능
카탈로그, 스키마, 테이블에 SELECT, MODIFY, CREATE 권한 부여
상속 구조 - 카탈로그에 부여된 권한은 하위 스키마 전체에 적용

데이터 계보

이 데이터는 어디서 왔을까요?

순서도: bronze_orders (소스), silver_orders (정제), gold_daily_revenue (집계), Revenue Dashboard (소비자)

쿼리 실행 시 테이블 간 관계를 자동으로 추적
업스트림 소스와 다운스트림 소비자를 추적

실전 데이터 계보

업스트림(Upstream) - 데이터의 출처 추적
다운스트림(Downstream) - 이 테이블에 의존하는 대상 확인
영향 분석 - 이 컬럼을 변경하면 무엇이 깨지는가?
디버깅 - 리포트 수치가 잘못됐을 때 원본까지 역추적

recraft: half: 데이터 계보 조사를 표현한, 돋보기를 든 탐정이 연결된 문서와 데이터 테이블의 흔적을 살펴보는 모습

요약

Unity Catalog - 모든 데이터 자산에 대한 중앙 집중식 거버넌스
계층 구조 - 메타스토어 → 카탈로그 → 스키마
접근 제어 - 모든 수준에서 SQL 권한 부여, 하위로 상속
데이터 계보 - 업스트림·다운스트림 데이터 흐름 자동 추적

연습해 봅시다!

Databricks Lakehouse 입문