Visualizando dados em streaming

Streaming de dados com AWS Kinesis e Lambda

Maksim Pecherskiy

Data Engineer

Nosso pipeline até agora

2020-08-02_15-29.png

Streaming de dados com AWS Kinesis e Lambda

Visão Discover do Kibana

2020-08-02_16-03.png

Streaming de dados com AWS Kinesis e Lambda

Visualizações no Kibana

2020-08-11_07-16.png

Streaming de dados com AWS Kinesis e Lambda

Dashboards e alertas

2020-08-11_07-32.png

Streaming de dados com AWS Kinesis e Lambda

Elasticsearch vs CloudWatch

CloudWatch

  • Focado em AWS
  • Aceita dados customizados, mas não é o principal caso de uso
  • Ótimo para trabalhar com logs

Elasticsearch

  • Ferramenta geral e open source
  • Aceita dados customizados, incluindo logs
  • Visualizações melhores que o CloudWatch
  • Ecossistema robusto de plugins
Streaming de dados com AWS Kinesis e Lambda

Vamos praticar!

Streaming de dados com AWS Kinesis e Lambda

Preparing Video For Download...