Data in de stream analyseren

Streaming data met AWS Kinesis en Lambda

Maksim Pecherskiy

Data Engineer

Vorige les

grafiek

Deze les

grafiek

Kinesis Data Analytics

grafiek

Kinesis Data Analytics

grafiek

Kinesis Data Analytics

grafiek

Waarom Kinesis Data Analytics

grafiek

Kinesis Data Analytics vs transformationele Lambdas

Transformationele Lambda

Python + Pandas
Filteren / aggregeren
Vaste window
Top voor transformaties per item
Kan geen meerdere streams combineren
Niet ideaal om output door te sturen

Kinesis Data Analytics

SQL
Filteren / aggregeren
Wij bepalen het window
Laat in chunks naar de stream kijken
Kan meerdere streams combineren
Kan output naar een andere stream of bestemming sturen

Kinesis Data Analytics SQL

grafiek

Kinesis Data Analytics SQL

-- Create destination SQL stream
CREATE OR REPLACE STREAM "DESTINATION_SQL_STREAM" 
(ITEM VARCHAR(1024), ITEM_COUNT DOUBLE);

-- Create the pump
CREATE OR REPLACE PUMP "STREAM_PUMP" AS INSERT INTO "DESTINATION_SQL_STREAM"

-- Pump the results
SELECT * FROM "SOURCE_SQL_STREAM__001"

Opties

Meerdere streams joinen
Data verrijken via een join met een statische lijst
Afwijkingen vinden
Continu filteren
Top x herhaalde items in een tijdsvenster vinden

Overpingers vinden

Laten we oefenen!

Streaming data met AWS Kinesis en Lambda