배치 vs. 스트리밍

스트리밍 개념

Mike Metzger

Data Engineer

빠른 복습

  • 배치 처리는 데이터를 그룹(배치)으로 처리합니다
  • 배치 처리의 핵심은 배치 크기와 배치 빈도입니다
  • 큐는 삽입 순서대로 데이터를 저장/처리합니다
  • 큐는 배치이며, 배치 크기가 1입니다!
  • 스트림은 중간에 멈추지 않고 데이터를 처리합니다
  • 스트림은 끝이 정의되지 않습니다
  • 스트림은 순서를 유지합니다!
스트리밍 개념

불!

  • 두레박 릴레이
    • 배치 크기(두레박이 얼마나 큰지)
    • 배치 빈도(두레박을 얼마나 빠르게 넘길지)

두레박 릴레이

  • 소방 호스
    • 연속적인 데이터 양
    • 물이 얼마나 되는지 불확실

소방 호스

1 Albert B. Kinne, Public domain, via Wikimedia Commons 2 Commander, U.S. Naval Forces Europe-Africa/U.S. 6th Fleet, Public domain, via Wikimedia Commons
스트리밍 개념

최적의 접근 방식 결정 방법

  • 요구사항에 따라 다릅니다
  • 데이터를 그룹으로 처리할 수 있으면, 단순해서 배치가 대체로 적합합니다
  • 순서가 필요하지만 일시 정지가 가능하면 큐를 사용합니다
  • 연속 데이터가 필요하거나 데이터 양을 모르면 스트리밍을 시도합니다
  • 데이터가 처리될 때까지 멈출 수 없으면 스트리밍을 사용합니다
스트리밍 개념

연습해 봅시다!

스트리밍 개념

Preparing Video For Download...