Analizzare i dati in streaming

Dati in streaming con AWS Kinesis e Lambda

Maksim Pecherskiy

Data Engineer

Lezione precedente

grafico

Dati in streaming con AWS Kinesis e Lambda

Questa lezione

grafico

Dati in streaming con AWS Kinesis e Lambda

Kinesis Data Analytics

grafico

Dati in streaming con AWS Kinesis e Lambda

Kinesis Data Analytics

grafico

Dati in streaming con AWS Kinesis e Lambda

Kinesis Data Analytics

grafico

Dati in streaming con AWS Kinesis e Lambda

Perché Kinesis Data Analytics

grafico

Dati in streaming con AWS Kinesis e Lambda

Kinesis Data Analytics vs Lambda di trasformazione

Lambda di trasformazione
  • Python + Pandas
  • Filtro / aggregazione
  • Finestra fissa
  • Ottimo per trasformazioni per item
  • Non combina più stream
  • Non ideale per inviare output a un’altra destinazione
Kinesis Data Analytics
  • SQL
  • Filtro / aggregazione
  • Controlliamo la finestra
  • Permette di vedere lo stream a blocchi
  • Può combinare più stream
  • Può inviare output ad un altro stream o ad altre destinazioni
Dati in streaming con AWS Kinesis e Lambda

SQL in Kinesis Data Analytics

grafico

Dati in streaming con AWS Kinesis e Lambda

SQL in Kinesis Data Analytics

-- Create destination SQL stream
CREATE OR REPLACE STREAM "DESTINATION_SQL_STREAM" 
(ITEM VARCHAR(1024), ITEM_COUNT DOUBLE);

-- Create the pump
CREATE OR REPLACE PUMP "STREAM_PUMP" AS INSERT INTO "DESTINATION_SQL_STREAM"

-- Pump the results
SELECT * FROM "SOURCE_SQL_STREAM__001"
Dati in streaming con AWS Kinesis e Lambda

Alcune opzioni

  • Unire più stream
  • Arricchire i dati da una lista statica con una join
  • Trovare anomalie nei dati
  • Filtrare continuamente i dati
  • Trovare i top x elementi ripetuti in un intervallo
Dati in streaming con AWS Kinesis e Lambda

Trovare gli overpinger

2020-07-21_05-19.png

Dati in streaming con AWS Kinesis e Lambda

Andiamo a fare pratica!

Dati in streaming con AWS Kinesis e Lambda

Preparing Video For Download...