Analyse des données en flux

Streaming de données avec AWS Kinesis et Lambda

Maksim Pecherskiy

Data Engineer

Leçon précédente

graphique

Streaming de données avec AWS Kinesis et Lambda

Cette leçon

graphique

Streaming de données avec AWS Kinesis et Lambda

Kinesis Data Analytics

graphique

Streaming de données avec AWS Kinesis et Lambda

Kinesis Data Analytics

graphique

Streaming de données avec AWS Kinesis et Lambda

Kinesis Data Analytics

graphique

Streaming de données avec AWS Kinesis et Lambda

Pourquoi Kinesis Data Analytics

graphique

Streaming de données avec AWS Kinesis et Lambda

Kinesis Data Analytics vs Lambdas de transformation

Lambda de transformation
  • Python + Pandas
  • Filtrer / agréger
  • Fenêtre fixe
  • Idéal pour transformer chaque élément
  • Ne peut pas combiner plusieurs flux
  • Peu adapté pour envoyer la sortie ailleurs
Kinesis Data Analytics
  • SQL
  • Filtrer / agréger
  • Fenêtre contrôlée
  • Permet d'analyser le flux par blocs
  • Peut combiner plusieurs flux
  • Peut envoyer la sortie vers un autre flux ou d'autres cibles
Streaming de données avec AWS Kinesis et Lambda

SQL Kinesis Data Analytics

graphique

Streaming de données avec AWS Kinesis et Lambda

SQL Kinesis Data Analytics

-- Create destination SQL stream
CREATE OR REPLACE STREAM "DESTINATION_SQL_STREAM" 
(ITEM VARCHAR(1024), ITEM_COUNT DOUBLE);

-- Create the pump
CREATE OR REPLACE PUMP "STREAM_PUMP" AS INSERT INTO "DESTINATION_SQL_STREAM"

-- Pump the results
SELECT * FROM "SOURCE_SQL_STREAM__001"
Streaming de données avec AWS Kinesis et Lambda

Quelques options

  • Joindre plusieurs flux
  • Enrichir depuis une liste statique via une jointure
  • Détecter des anomalies
  • Filtrer en continu
  • Trouver le top x éléments répétés sur une période
Streaming de données avec AWS Kinesis et Lambda

Détecter les surémissions

2020-07-21_05-19.png

Streaming de données avec AWS Kinesis et Lambda

Passons à la pratique !

Streaming de données avec AWS Kinesis et Lambda

Preparing Video For Download...