Analysera data i strömmen

Strömdata med AWS Kinesis och Lambda

Maksim Pecherskiy

Data Engineer

Förra lektionen

graph

Den här lektionen

graph

Kinesis Data Analytics

graph

Kinesis Data Analytics

graph

Kinesis Data Analytics

graph

Varför Kinesis Data Analytics

graph

Kinesis Data Analytics vs. transformerande Lambdas

Transformerande Lambda

Python + Pandas
Filtrera / aggregera
Fast fönster
Passar bra för transformationer per objekt
Kan inte kombinera flera strömmar
Inte optimalt för att skicka utdata till annan destination

Kinesis Data Analytics

SQL
Filtrera / aggregera
Vi styr fönstret
Låter oss analysera strömmen i delar
Kan kombinera flera strömmar
Kan skicka utdata till en annan ström eller andra destinationer

Kinesis Data Analytics SQL

graph

Kinesis Data Analytics SQL

-- Create destination SQL stream
CREATE OR REPLACE STREAM "DESTINATION_SQL_STREAM" 
(ITEM VARCHAR(1024), ITEM_COUNT DOUBLE);

-- Create the pump
CREATE OR REPLACE PUMP "STREAM_PUMP" AS INSERT INTO "DESTINATION_SQL_STREAM"

-- Pump the results
SELECT * FROM "SOURCE_SQL_STREAM__001"

Några alternativ

Koppla samman flera strömmar
Berika data från en statisk lista via join
Hitta avvikelser i data
Filtrera data kontinuerligt
Hitta de x mest förekommande objekten inom ett tidsintervall

Hitta överpingare

Nu kör vi en övning!

Strömdata med AWS Kinesis och Lambda