단일 시스템 데이터 스트리밍

스트리밍 개념

Mike Metzger

Data Engineer

스트리밍 소개

스트리밍이란?

데이터는 처리될 때까지 멈추지 않습니다
- 초기 처리 후, 추가 처리 구성요소가 있을 수 있습니다
열린 형태입니다(명확한 종료 이벤트 없음)
데이터의 내용이 아니라 흐름으로 정의됩니다

로그

이벤트 정보를 저장합니다
단순한 텍스트 또는 바이너리 파일일 수 있습니다
또는 여러 클라이언트로 내보내는 시스템일 수 있습니다(예: Apache Kafka)
리소스가 소진되거나 정리될 때까지 정보를 보관합니다
로그의 목적은 애플리케이션에 따라 다릅니다

210507-162356 - SUCCESS: Open vvlj45.txt
210507-162254 - ERROR: Open hjry57.txt failed
210507-161523 - SUCCESS: Open kbhn78.txt
210507-161235 - ERROR: Open ldge12.txt failed
210507-160127 - WARNING: keop98.txt exists
210507-155958 - SUCCESS: Open hqaz64.txt
210507-155439 - SUCCESS: Open neuf36.txt
210507-152335 - SUCCESS: Open mqpa91.txt
210507-144756 - ERROR: Open pqzi32.txt failed
210507-143541 - SUCCESS: Open urmn15.txt
210507-143152 - SUCCESS: Open fgty82.txt
210507-141732 - SUCCESS: Open mlwe96.txt

시스템 이벤트 로그

Windows, Mac, Linux에 존재합니다
다양한 시스템 이벤트 정보를 처리·저장합니다
Windows는 EventLog, Mac/Linux는 syslog

구성 요소:

Listener: 메시지 _수신_
Parser: 메시지 파싱/해석
Logic: 처리 _결정_
Writer: 메시지 _저장_

연습해 봅시다!

스트리밍 개념