스트리밍 데이터 사례 연구

AWS Kinesis와 Lambda로 배우는 스트리밍 데이터

Maksim Pecherskiy

Data Engineer

이번 장에서 다룰 내용

• 수신 데이터를 Firehose로 전송
• 데이터 저장
• 데이터 시각화
• 실시간 알림 설정
• 스트림 모니터링
• 요구사항 충족

요구사항

• 트윗에는 #sandiego 해시태그 포함
• 트윗은 실시간 수집
• 트윗은 감성 정보로 보강
• 최근 15분 데이터 시각화
• 5분 내 음성 트윗 >3건 시 관리자 알림
• 다운타임으로 인한 데이터 손실 최소화
• 사후 분석을 위해 데이터 보존

트윗은 실시간으로 도착

감성 정보로 보강

분석을 위해 데이터는 보존되어야 함

최근 15분 시각화

Redshift vs Elasticsearch

Redshift

• 정제된 테이블 저장에 최적화
• 스키마는 데이터베이스에 정의
• 질의는 SQL 사용
• Tableau 같은 BI 도구와 호환 우수

Elasticsearch

• 스키마리스 - 로그·텍스트에 적합
• 스키마는 질의 시 생성
• 고유 질의 언어 사용
• 전용 UI: Kibana

연습해 봅시다!

AWS Kinesis와 Lambda로 배우는 스트리밍 데이터