Visualiser des données en streaming

Streaming de données avec AWS Kinesis et Lambda

Maksim Pecherskiy

Data Engineer

Notre pipeline à ce stade

2020-08-02_15-29.png

Streaming de données avec AWS Kinesis et Lambda

Vue Discover de Kibana

2020-08-02_16-03.png

Streaming de données avec AWS Kinesis et Lambda

Visualisations Kibana

2020-08-11_07-16.png

Streaming de données avec AWS Kinesis et Lambda

Tableaux de bord et alertes

2020-08-11_07-32.png

Streaming de données avec AWS Kinesis et Lambda

Elasticsearch vs CloudWatch

CloudWatch

  • Centré sur AWS
  • Accepte des données personnalisées, mais ce n'est pas l'usage principal
  • Excellent pour les journaux (logs)

Elasticsearch

  • Outil généraliste, open source
  • Accepte des données personnalisées, y compris les logs
  • Meilleure visualisation que CloudWatch
  • Écosystème de plugins robuste
Streaming de données avec AWS Kinesis et Lambda

Passons à la pratique !

Streaming de données avec AWS Kinesis et Lambda

Preparing Video For Download...