배치 이슈
스트리밍 개념
Mike Metzger
Data Engineer
지연
- 데이터 준비까지 소요 시간
- 처리 시작까지 소요 시간
- 데이터를 처리하는 데 걸리는 시간
- 처리된 데이터가 사용 가능해질 때까지 시간
예시 #1
소스 데이터 대기
- 머신이 낮은 부하 시간에 로그 전송
- 보통 부하에서는 문제없음
- 높은 부하 시 로그 전송이 제한되어 문제를 숨길 수 있음
예시 #2
프로세스 대기
- 하루 100GB 로그 파일
- 처리에 23시간 소요
- 시간당 약 4.4GB
- 월 5% 증가
- 다음 달 105GB, 처리 ~24시간
- 그다음 달 ~110GB, 처리 ~25시간
- 하루치 데이터를 처리하는 데 하루 이상!
예시 #3
데이터 사용 가능 대기
- 분석이 언제 사용 가능해지나요?
- 매출 보고서는 모든 정보가 생성될 때까지 대기해야 함
- 지연의 합이 새 보고서의 최소 소요 시간
- 데이터 수집/준비: 1일
- 데이터 처리: 7시간
- 시스템 업데이트: 5시간
- 보고서 생성: 2분
- 보고서당 총 소요: 1.5일
Preparing Video For Download...
