Analýza dat ve streamu

Streamování dat s AWS Kinesis a Lambda

Maksim Pecherskiy

Data Engineer

Předchozí lekce

graf

Streamování dat s AWS Kinesis a Lambda

Tato lekce

graf

Streamování dat s AWS Kinesis a Lambda

Kinesis Data Analytics

graf

Streamování dat s AWS Kinesis a Lambda

Kinesis Data Analytics

graf

Streamování dat s AWS Kinesis a Lambda

Kinesis Data Analytics

graf

Streamování dat s AWS Kinesis a Lambda

Proč Kinesis Data Analytics

graf

Streamování dat s AWS Kinesis a Lambda

Kinesis Data Analytics vs. transformační Lambda

Transformační Lambda
  • Python + Pandas
  • Filtrování / agregace
  • Pevné okno
  • Vhodné pro transformace jednotlivých položek
  • Nelze kombinovat více streamů
  • Nevhodné pro odesílání výstupu do jiného cíle
Kinesis Data Analytics
  • SQL
  • Filtrování / agregace
  • Okno řídíme sami
  • Umožňuje zpracovávat stream po částech
  • Lze kombinovat více streamů
  • Lze odesílat výstup do jiného streamu nebo jiných cílů
Streamování dat s AWS Kinesis a Lambda

Kinesis Data Analytics SQL

graf

Streamování dat s AWS Kinesis a Lambda

Kinesis Data Analytics SQL

-- Create destination SQL stream
CREATE OR REPLACE STREAM "DESTINATION_SQL_STREAM" 
(ITEM VARCHAR(1024), ITEM_COUNT DOUBLE);

-- Create the pump CREATE OR REPLACE PUMP "STREAM_PUMP" AS INSERT INTO "DESTINATION_SQL_STREAM"
-- Pump the results SELECT * FROM "SOURCE_SQL_STREAM__001"
Streamování dat s AWS Kinesis a Lambda

Některé možnosti

  • Spojení více streamů
  • Obohacení dat ze statického seznamu pomocí joinu
  • Detekce anomálií v datech
  • Průběžné filtrování dat
  • Nalezení nejčastěji se opakujících položek v časovém rámci
Streamování dat s AWS Kinesis a Lambda

Hledání nadměrných pingerů

2020-07-21_05-19.png

Streamování dat s AWS Kinesis a Lambda

Pojďme si procvičit!

Streamování dat s AWS Kinesis a Lambda

Preparing Video For Download...