Visualizing streaming data

Datenstreaming mit AWS Kinesis und Lambda

Maksim Pecherskiy

Data Engineer

Our pipeline so far

2020-08-02_15-29.png

Datenstreaming mit AWS Kinesis und Lambda

Kibana Discover view

2020-08-02_16-03.png

Datenstreaming mit AWS Kinesis und Lambda

Kibana visualizations

2020-08-11_07-16.png

Datenstreaming mit AWS Kinesis und Lambda

Dashboards and alerts

2020-08-11_07-32.png

Datenstreaming mit AWS Kinesis und Lambda

Elasticsearch vs CloudWatch

CloudWatch

  • AWS centric
  • Can accept custom data, but not primary use case
  • Great for working with logs

Elasticsearch

  • General, open source tool
  • Accepts custom data, including logs
  • Better viz than CloudWatch
  • Robust plugin ecosystem
Datenstreaming mit AWS Kinesis und Lambda

Let's practice!

Datenstreaming mit AWS Kinesis und Lambda

Preparing Video For Download...