Analisando dados no stream

Streaming de dados com AWS Kinesis e Lambda

Maksim Pecherskiy

Data Engineer

Aula passada

gráfico

Streaming de dados com AWS Kinesis e Lambda

Esta aula

gráfico

Streaming de dados com AWS Kinesis e Lambda

Kinesis Data Analytics

gráfico

Streaming de dados com AWS Kinesis e Lambda

Kinesis Data Analytics

gráfico

Streaming de dados com AWS Kinesis e Lambda

Kinesis Data Analytics

gráfico

Streaming de dados com AWS Kinesis e Lambda

Por que Kinesis Data Analytics

gráfico

Streaming de dados com AWS Kinesis e Lambda

Kinesis Data Analytics vs Lambdas de transformação

Lambda de transformação
  • Python + Pandas
  • Filtrar / agregar
  • Janela fixa
  • Ótimo pra transformar item a item
  • Não combina múltiplos streams
  • Não é ideal pra enviar saída a outro destino
Kinesis Data Analytics
  • SQL
  • Filtrar / agregar
  • A gente controla a janela
  • Permite ver o stream em blocos
  • Combina múltiplos streams
  • Envia saída pra outro stream ou destinos
Streaming de dados com AWS Kinesis e Lambda

SQL no Kinesis Data Analytics

gráfico

Streaming de dados com AWS Kinesis e Lambda

SQL no Kinesis Data Analytics

-- Create destination SQL stream
CREATE OR REPLACE STREAM "DESTINATION_SQL_STREAM" 
(ITEM VARCHAR(1024), ITEM_COUNT DOUBLE);

-- Create the pump CREATE OR REPLACE PUMP "STREAM_PUMP" AS INSERT INTO "DESTINATION_SQL_STREAM"
-- Pump the results SELECT * FROM "SOURCE_SQL_STREAM__001"
Streaming de dados com AWS Kinesis e Lambda

Algumas opções

  • Juntar múltiplos streams
  • Enriquecer dados com lista estática via join
  • Detectar anomalias
  • Filtrar continuamente
  • Achar top x itens repetidos num período
Streaming de dados com AWS Kinesis e Lambda

Encontrando overpingers

2020-07-21_05-19.png

Streaming de dados com AWS Kinesis e Lambda

Vamos praticar!

Streaming de dados com AWS Kinesis e Lambda

Preparing Video For Download...