Analyser les données en continu

Données en continu avec AWS Kinesis et Lambda

Maksim Pecherskiy

Data Engineer

Leçon précédente

graph

Cette leçon

graph

Kinesis Data Analytics

graph

Kinesis Data Analytics

graph

Kinesis Data Analytics

graph

Pourquoi Kinesis Data Analytics

graph

Kinesis Data Analytics vs Lambdas de transformation

Lambda de transformation

Python + Pandas
Filtrer / agréger
Fenêtre fixe
Idéal pour transformer chaque élément
Impossible de combiner plusieurs flux
Peu adapté pour envoyer la sortie vers une autre destination

Kinesis Data Analytics

SQL
Filtrer / agréger
Fenêtre maîtrisée
Permet d'analyser le flux par blocs
Peut combiner plusieurs flux
Peut envoyer la sortie vers un autre flux ou d'autres destinations

SQL dans Kinesis Data Analytics

graph

SQL dans Kinesis Data Analytics

-- Create destination SQL stream
CREATE OR REPLACE STREAM "DESTINATION_SQL_STREAM" 
(ITEM VARCHAR(1024), ITEM_COUNT DOUBLE);

-- Create the pump
CREATE OR REPLACE PUMP "STREAM_PUMP" AS INSERT INTO "DESTINATION_SQL_STREAM"

-- Pump the results
SELECT * FROM "SOURCE_SQL_STREAM__001"

Quelques options

Joindre plusieurs flux
Enrichir les données à partir d'une liste statique avec une jointure
Détecter des anomalies dans les données
Filtrer en continu
Trouver les x éléments les plus répétés dans une période

Repérer les sursolliciteurs

Passons à la pratique !

Données en continu avec AWS Kinesis et Lambda