Daten im Stream analysieren

Datenstreaming mit AWS Kinesis und Lambda

Maksim Pecherskiy

Data Engineer

Letzte Lektion

Diagramm

Datenstreaming mit AWS Kinesis und Lambda

Diese Lektion

Diagramm

Datenstreaming mit AWS Kinesis und Lambda

Kinesis Data Analytics

Diagramm

Datenstreaming mit AWS Kinesis und Lambda

Kinesis Data Analytics

Diagramm

Datenstreaming mit AWS Kinesis und Lambda

Kinesis Data Analytics

Diagramm

Datenstreaming mit AWS Kinesis und Lambda

Warum Kinesis Data Analytics

Diagramm

Datenstreaming mit AWS Kinesis und Lambda

Kinesis Data Analytics vs. Transformations-Lambdas

Transformation mit Lambda
  • Python + Pandas
  • Filtern/Aggregieren
  • Feste Fenster
  • Gut für Transformationen pro Item
  • Kann keine mehreren Streams kombinieren
  • Nicht ideal für Ausgabe an anderes Ziel
Kinesis Data Analytics
  • SQL
  • Filtern/Aggregieren
  • Fenster steuerbar
  • Betrachtet den Stream in Blöcken
  • Kann mehrere Streams kombinieren
  • Ausgabe an anderen Stream oder Ziele
Datenstreaming mit AWS Kinesis und Lambda

Kinesis Data Analytics SQL

Diagramm

Datenstreaming mit AWS Kinesis und Lambda

Kinesis Data Analytics SQL

-- Create destination SQL stream
CREATE OR REPLACE STREAM "DESTINATION_SQL_STREAM" 
(ITEM VARCHAR(1024), ITEM_COUNT DOUBLE);

-- Create the pump CREATE OR REPLACE PUMP "STREAM_PUMP" AS INSERT INTO "DESTINATION_SQL_STREAM"
-- Pump the results SELECT * FROM "SOURCE_SQL_STREAM__001"
Datenstreaming mit AWS Kinesis und Lambda

Einige Optionen

  • Mehrere Streams joinen
  • Daten per Join mit statischer Liste anreichern
  • Anomalien finden
  • Kontinuierlich filtern
  • Top-x wiederkehrende Items in einem Zeitfenster
Datenstreaming mit AWS Kinesis und Lambda

Overpinger finden

2020-07-21_05-19.png

Datenstreaming mit AWS Kinesis und Lambda

Lass uns üben!

Datenstreaming mit AWS Kinesis und Lambda

Preparing Video For Download...