메타데이터 관리

현대 데이터 아키텍처 이해하기

Miller Trujillo

Senior Software Engineer

메타데이터란?

데이터에 대한 데이터

책을 예로 든 메타데이터

메타데이터 유형

메타데이터 유형	데이터 예시	도서관 예시
기술 메타데이터	데이터 타입, 관계, 컬럼명, 데이터 소스	책의 ISBN, 페이지 수
비즈니스 메타데이터	비즈니스 정의, 규칙, 데이터 소유자	책 제목, 저자, 출판사, 장르
운영 메타데이터	타임스탬프, ETL 작업 상태, 데이터 품질 지표	도서 구입일, 책 상태
사용 메타데이터	누가 언제 어떻게 사용했는지	대출자, 대출 시점, 대출 기간

메타데이터 저장 위치

GCP Data Catalog

관리형 메타데이터 서비스
GCP 서비스와 통합
외부 메타데이터 등록 가능

AWS Glue Catalog

중앙 메타데이터 저장소
AWS 서비스와 통합
크롤러로 외부 데이터 카탈로그화

데이터 카탈로그

Azure Data Catalog
Apache Atlas
CKAN

Datahub
Collibra
...

연습해 봅시다!

현대 데이터 아키텍처 이해하기

Preparing Video For Download...