Phân tích dữ liệu trong luồng

Xử lý dữ liệu streaming với AWS Kinesis và Lambda

Maksim Pecherskiy

Data Engineer

Bài trước

biểu đồ

Bài này

biểu đồ

Kinesis Data Analytics

biểu đồ

Kinesis Data Analytics

biểu đồ

Kinesis Data Analytics

biểu đồ

Vì sao dùng Kinesis Data Analytics

biểu đồ

Kinesis Data Analytics vs Lambda biến đổi

Lambda biến đổi

Python + Pandas
Lọc / tổng hợp
Cửa sổ cố định
Tốt cho biến đổi từng mục
Không gộp nhiều luồng
Không tối ưu để gửi ra đích khác

Kinesis Data Analytics

SQL
Lọc / tổng hợp
Tự chọn cửa sổ
Xem luồng theo từng khối
Gộp được nhiều luồng
Gửi ra luồng khác hoặc đích khác

SQL của Kinesis Data Analytics

biểu đồ

SQL của Kinesis Data Analytics

-- Create destination SQL stream
CREATE OR REPLACE STREAM "DESTINATION_SQL_STREAM" 
(ITEM VARCHAR(1024), ITEM_COUNT DOUBLE);

-- Create the pump
CREATE OR REPLACE PUMP "STREAM_PUMP" AS INSERT INTO "DESTINATION_SQL_STREAM"

-- Pump the results
SELECT * FROM "SOURCE_SQL_STREAM__001"

Một số lựa chọn

Join nhiều luồng
Làm giàu dữ liệu từ danh sách tĩnh bằng join
Tìm bất thường trong dữ liệu
Lọc dữ liệu liên tục
Tìm top x mục lặp trong khoảng thời gian

Tìm overpinger

Ayo berlatih!

Xử lý dữ liệu streaming với AWS Kinesis và Lambda