Analiza datelor în flux

Date în flux cu AWS Kinesis și Lambda

Maksim Pecherskiy

Data Engineer

Lecția anterioară

grafic

Date în flux cu AWS Kinesis și Lambda

Această lecție

grafic

Date în flux cu AWS Kinesis și Lambda

Kinesis Data Analytics

grafic

Date în flux cu AWS Kinesis și Lambda

Kinesis Data Analytics

grafic

Date în flux cu AWS Kinesis și Lambda

Kinesis Data Analytics

grafic

Date în flux cu AWS Kinesis și Lambda

De ce Kinesis Data Analytics

grafic

Date în flux cu AWS Kinesis și Lambda

Kinesis Data Analytics vs. Lambda de transformare

Lambda de transformare
  • Python + Pandas
  • Filtrare / agregare
  • Fereastră fixă
  • Potrivit pentru transformări per element
  • Nu poate combina fluxuri multiple
  • Nu este optim pentru trimiterea datelor la altă destinație
Kinesis Data Analytics
  • SQL
  • Filtrare / agregare
  • Fereastra este controlată de noi
  • Permite procesarea fluxului pe segmente
  • Poate combina fluxuri multiple
  • Poate trimite date către alt flux sau alte destinații
Date în flux cu AWS Kinesis și Lambda

SQL în Kinesis Data Analytics

grafic

Date în flux cu AWS Kinesis și Lambda

SQL în Kinesis Data Analytics

-- Create destination SQL stream
CREATE OR REPLACE STREAM "DESTINATION_SQL_STREAM" 
(ITEM VARCHAR(1024), ITEM_COUNT DOUBLE);

-- Create the pump
CREATE OR REPLACE PUMP "STREAM_PUMP" AS INSERT INTO "DESTINATION_SQL_STREAM"

-- Pump the results
SELECT * FROM "SOURCE_SQL_STREAM__001"
Date în flux cu AWS Kinesis și Lambda

Câteva opțiuni

  • Îmbinarea fluxurilor multiple
  • Îmbogățirea datelor dintr-o listă statică prin join
  • Detectarea anomaliilor în date
  • Filtrarea continuă a datelor
  • Găsirea celor mai frecvente x elemente dintr-un interval de timp
Date în flux cu AWS Kinesis și Lambda

Identificarea sursa-excesivă de ping-uri

2020-07-21_05-19.png

Date în flux cu AWS Kinesis și Lambda

Să exersăm!

Date în flux cu AWS Kinesis și Lambda

Preparing Video For Download...