데이터 수집

현대 데이터 아키텍처 이해하기

Miller Trujillo

Senior Software Engineer

데이터 수집이란?

• 기능 요구사항
• 분석이 기능에 영향

배치 수집

• 주기적 수집 스케줄
• 분석을 위해 플랫폼에 복사
• 전체 읽기 vs 신규만 읽기
• 대용량은 부분 읽기 필요
• 소용량은 덮어쓰기 가능

배치 수집: 변경분만 반영

• 무한 자원은 불가능
• 변경분만 수집
• 업데이트 타임스탬프 또는 플래그
• 최신 상태 유지
• 삭제는 플래그/정합화 필요

스트리밍 수집

• 푸시 모델
• 이벤트 큐
• 24/7 컴퓨트
• 랜딩 존

연습해 봅시다!

현대 데이터 아키텍처 이해하기