데이터 메쉬와 데이터 패브릭

현대 데이터 아키텍처 이해하기

Miller Trujillo

Senior Software Engineer

데이터 메쉬

데이터 소유·관리를 분산하는 아키텍처 접근법
소유 및 관리:
- 데이터에 대한 전면 책임
- 품질·보안·프라이버시 보장

데이터 메쉬 아키텍처

데이터셋별 소유자
데이터를 제품으로 공개
공통 인프라 공유
마이크로서비스
사고 전환!

3만 피트 뷰의 데이터 메쉬 아키텍처

¹ https://martinfowler.com/articles/data-monolith-to-mesh.html

그렇다면 데이터 처리는?

데이터 관리의 조직·문화적 측면
도메인 데이터 제품이 최우선
도구는 차선
데이터 레이크·웨어하우스는 도메인 내 노드에 불과

데이터 메쉬의 이점과 과제

이점:
- 데이터 민주화
- 분산화
- 명확한 소유권
- 확장성과 민첩성
- 더 빠른 시장 출시
- 기술 스택 유연성
- ...

과제:
- 문화적 전환
- 데이터 거버넌스
- 협업과 조정
- 기술적 복잡성

데이터 패브릭

통합된 단일 뷰
데이터 민주화
메타데이터
- 지식 그래프
- AI/ML 알고리즘
- 액티브 메타데이터
지능형 통합
더 나은 데이터 관리와 보호

¹ https://www.gartner.com/smarterwithgartner/data-fabric-architecture-is-key-to-modernizing-data-management-and-integration ² https://www.ibm.com/topics/data-fabric

데이터 패브릭이 지원해야 할 것

ETL
스트리밍
복제
메시징
데이터 가상화
데이터 마이크로서비스
...

연습해 봅시다!

현대 데이터 아키텍처 이해하기