스트리밍 시스템 수직 확장

스트리밍 개념

Mike Metzger

Data Engineer

왜 확장할까요?

• 동일한 데이터를 더 짧은 시간에 처리
• 더 많은 데이터를 동일한 시간에 처리
• 데이터를 더 빠르게 제공(지연 시간 감소)
• 보장 조건(SLA) 충족

수직 확장

• 단일 시스템의 성능 향상
• 더 빠른 / 더 나은 구성요소
  • CPU, RAM, 디스크, 네트워크
• 모두가 스트리밍 성능에 영향을 줍니다

더 빠른 CPU/GPU 성능

• 더 빠른 실행
• 더 나은 실행
  • 신규/개선 명령어 집합
• GPU 처리
  • 머신 러닝
  • 딥 러닝
  • 이미지 처리
  • 행렬 연산

스트리밍에는 어떻게 영향을 줄까요?

• 스트리밍 프로세스는 완료될 때까지 멈추지 않습니다
• 항목들은 파이프라인의 서로 다른 단계에 있을 수 있으나, 총 처리 용량은 시스템 성능에 의해 제한됩니다
• 워크로드에 따라 영향이 큰 구성요소가 다릅니다
• 벤치마크/테스트 필수!

연습해 봅시다!

스트리밍 개념