스트리밍 시스템의 수평 확장

스트리밍 개념

Mike Metzger

Data Engineer

수평 확장 복습

• "상향"이 아닌 수평으로 확장
• 더 빠른/좋은 것보다 수량을 늘려 처리 능력 추가
• 병렬성이 매우 높은 경우에 최적
  • 작업을 쉽게 분할 가능
  • 예: 상호 독립적인 많은 이미지 처리

스트리밍에서의 수평 확장

• 스트리밍 처리는 보통 지연이 매우 작음
• 워커 간 데이터 전송이 까다로울 수 있음
• 하나의 단일 파이프라인에서 전체 스트림 처리 권장
• 파이프라인 복제본을 만듦

파이프라인 복제

• 이벤트는 발생 시 먼저 파이프라인에 유입
• 관련 작업은 완료될 때까지 파이프라인 내에서 자체 포함
• 파이프라인을 추가하여 확장
• 파이프라인 내부는 수직 확장도 가능

추가 고려 사항

• 추가 구성요소가 필요할 수 있음
• 로드 밸런서/디렉터
  • 카드 배분자
  • 가장 한가한 노드
• 결국 병목에 도달
  • 디스크 쓰기 성능
• 스트리밍 파이프라인 단축 고려
  • 데이터를 즉시 처리할 필요 제거

연습해 봅시다!

스트리밍 개념