현대 데이터 아키텍처의 예시

현대 데이터 아키텍처 이해하기

Miller Trujillo

Senior Software Engineer

람다 아키텍처

• 데이터 처리 아키텍처
• 대규모 데이터셋 처리 가능
• 실시간 처리 지원
• 배치와 스트리밍 결합
• 3개 주요 레이어:
  • 배치 레이어
  • 스피드 레이어
  • 서빙 레이어

람다 아키텍처 레이어: 배치

• 마스터 데이터셋
  • 변경 불가 데이터
  • 추가 전용
• 사전 계산된 뷰
• 은행 계좌 예시
  • 마스터 데이터셋: 거래 내역 목록
  • 뷰: 잔액 계산에 적용한 거래
• 완전한 정확도

람다 아키텍처 레이어: 스피드

• 일정에 따른 배치 작업
• 알려진 데이터와 실제 간 격차
• 스피드 레이어가 격차를 축소
• 정확도는 완벽하지 않음

람다 아키텍처 레이어: 서빙

• 배치와 실시간 뷰 병합
• 데이터의 통합 뷰

람다 아키텍처의 복잡성

• 두 레이어로 복잡도 증가
• 로직·코드·알고리즘 중복
• 복수 스택: 배치와 스트리밍

카파 아키텍처

람다 vs. 카파

항목	람다 아키텍처	카파 아키텍처
배치 처리	있음	이벤트 소스를 재처리
스트림 처리	있음	있음
복잡도	높음	낮음
실시간 처리	배치 레이어로 지연	직접적이고 단순화됨
활용 사례	복잡 분석, 이력 데이터	실시간 분석, 실시간 모니터링

연습해 봅시다!

현대 데이터 아키텍처 이해하기