스트림에서 데이터 분석

AWS Kinesis와 Lambda로 배우는 스트리밍 데이터

Maksim Pecherskiy

Data Engineer

지난 레슨

그래프

이번 레슨

그래프

Kinesis Data Analytics

그래프

Kinesis Data Analytics

그래프

Kinesis Data Analytics

그래프

왜 Kinesis Data Analytics인가

그래프

Kinesis Data Analytics vs 변환 Lambda

변환용 Lambda

Python + Pandas
필터/집계
고정 윈도우
항목별 데이터 변환에 적합
여러 스트림 결합 불가
다른 대상으로 결과 전송에 비효율적

Kinesis Data Analytics

SQL
필터/집계
윈도우 직접 제어
스트림을 청크로 분석
여러 스트림 결합 가능
다른 스트림/대상으로 출력 가능

Kinesis Data Analytics의 SQL

그래프

Kinesis Data Analytics의 SQL

-- Create destination SQL stream
CREATE OR REPLACE STREAM "DESTINATION_SQL_STREAM" 
(ITEM VARCHAR(1024), ITEM_COUNT DOUBLE);

-- Create the pump
CREATE OR REPLACE PUMP "STREAM_PUMP" AS INSERT INTO "DESTINATION_SQL_STREAM"

-- Pump the results
SELECT * FROM "SOURCE_SQL_STREAM__001"

가능한 작업

여러 스트림 조인
조인으로 정적 목록으로 데이터 보강
이상치 탐지
지속적 필터링
기간 내 상위 x 반복 항목 찾기

과도한 핑 탐지

연습해 봅시다!

AWS Kinesis와 Lambda로 배우는 스트리밍 데이터