스트리밍 장애 요인

스트리밍 개념

Mike Metzger

Data Engineer

스케일링 복습

수직 확장 - 컴퓨팅 자원

• CPU
• RAM
• 디스크(용량·IO)
• 네트워크

수평 확장 - 노드 추가

• 머신을 노드/워커로 추가

초기 고려 사항

• 컴퓨팅 자원
  • 자원이 부족하거나 느림
• 노드 추가
  • 더 많은 연결성 필요
  • 공유 자원 필요
  • 복잡도 증가
  • 보통 클러스터 관리 필요

통신 문제

메시징 문제 유형:

• 누락 메시지
• 지연 메시지
• 순서 뒤바꿈 메시지
• 반복 메시지

누락된 메시지

• 발생하지 않는 이벤트를 의미
• 탐지 어렵다
• 때때로 시퀀스 식별자로 처리
• 누락 요청은 추가 응답 지연 유발 가능

지연된 메시지

• 누락 메시지와 유사
• 지연으로 처리 파이프라인에 문제 유발 가능
• 흔히 시스템 자원 문제와 관련

순서가 뒤바뀐 메시지

• 누락/지연 메시지의 복합
• 오래된 메시지가 더 최신 이후에 도착할 때 발생
• 탐지를 위해 순서 또는 상태 관리 필요
• 처리 방법은 실행 중인 데이터 처리 유형에 따라 다름

반복된 메시지

• 동일 메시지가 여러 번 전송되거나 시스템 문제로 재전송될 때 발생
• 완전 회피엔 순서 처리가 필요하나, 무시해도 안전할 수 있음
• 문제가 아닌 경우도 있음(예: 온도 측정)

연습해 봅시다!

스트리밍 개념