Étude de cas : données en streaming

Streaming de données avec AWS Kinesis et Lambda

Maksim Pecherskiy

Data Engineer

Ce chapitre

  • Envoyer les données entrantes à Firehose
  • Stocker les données
  • Visualiser les données
  • Définir des alertes en temps réel
  • Surveiller le flux
  • Satisfaire un cahier des charges
Streaming de données avec AWS Kinesis et Lambda

Capture d'écran 2020-08-11_18-31

Streaming de données avec AWS Kinesis et Lambda

Exigences

  • Tweets avec le hashtag #sandiego
  • Arrivée des tweets en temps réel
  • Tweets enrichis du sentiment
  • Visualiser les 15 dernières minutes
  • Alerter le manager si >3 tweets négatifs en 5 min
  • Minimiser la perte due aux pannes
  • Données persistantes pour analyse ultérieure
Streaming de données avec AWS Kinesis et Lambda

Tweets en temps réel

Capture d'écran 2020-08-02_08-38

Streaming de données avec AWS Kinesis et Lambda

Enrichis d'un score de sentiment

Streaming de données avec AWS Kinesis et Lambda

Les données doivent persister pour analyse ultérieure

Capture d'écran 2020-08-02_08-42

Streaming de données avec AWS Kinesis et Lambda

Visualiser les 15 dernières minutes

Capture d'écran 2020-08-11_18-44

Streaming de données avec AWS Kinesis et Lambda

Redshift vs Elasticsearch

Redshift

  • Conçu pour stocker des tables propres
  • Schéma défini dans la base
  • SQL pour les requêtes
  • S'intègre bien aux outils BI comme Tableau

Elasticsearch

  • Sans schéma – idéal pour logs et texte
  • Schéma créé à la requête
  • Langage de requête propre
  • UI dédiée : Kibana
Streaming de données avec AWS Kinesis et Lambda

Passons à la pratique !

Streaming de données avec AWS Kinesis et Lambda

Preparing Video For Download...