Análisis de datos en el stream

Streaming de datos con AWS Kinesis y Lambda

Maksim Pecherskiy

Data Engineer

Lección anterior

gráfico

Streaming de datos con AWS Kinesis y Lambda

Esta lección

gráfico

Streaming de datos con AWS Kinesis y Lambda

Kinesis Data Analytics

gráfico

Streaming de datos con AWS Kinesis y Lambda

Kinesis Data Analytics

gráfico

Streaming de datos con AWS Kinesis y Lambda

Kinesis Data Analytics

gráfico

Streaming de datos con AWS Kinesis y Lambda

Por qué Kinesis Data Analytics

gráfico

Streaming de datos con AWS Kinesis y Lambda

Kinesis Data Analytics vs Lambdas de transformación

Lambda de transformación
  • Python + Pandas
  • Filtrar / agregar
  • Ventana fija
  • Ideal para transformar datos por ítem
  • No combina varios streams
  • No es la mejor para enviar salida a otro destino
Kinesis Data Analytics
  • SQL
  • Filtrar / agregar
  • Controlamos la ventana
  • Permite ver el stream por bloques
  • Puede combinar varios streams
  • Puede enviar la salida a otro stream u otros destinos
Streaming de datos con AWS Kinesis y Lambda

SQL en Kinesis Data Analytics

gráfico

Streaming de datos con AWS Kinesis y Lambda

SQL en Kinesis Data Analytics

-- Create destination SQL stream
CREATE OR REPLACE STREAM "DESTINATION_SQL_STREAM" 
(ITEM VARCHAR(1024), ITEM_COUNT DOUBLE);

-- Create the pump
CREATE OR REPLACE PUMP "STREAM_PUMP" AS INSERT INTO "DESTINATION_SQL_STREAM"

-- Pump the results
SELECT * FROM "SOURCE_SQL_STREAM__001"
Streaming de datos con AWS Kinesis y Lambda

Algunas opciones

  • Unir varios streams
  • Enriquecer datos con una lista estática usando join
  • Detectar anomalías
  • Filtrar de forma continua
  • Encontrar los x ítems más repetidos en un periodo
Streaming de datos con AWS Kinesis y Lambda

Detección de overpingers

2020-07-21_05-19.png

Streaming de datos con AWS Kinesis y Lambda

¡Vamos a practicar!

Streaming de datos con AWS Kinesis y Lambda

Preparing Video For Download...