Estudo de caso: dados em streaming

Streaming de dados com AWS Kinesis e Lambda

Maksim Pecherskiy

Data Engineer

Este capítulo

  • Enviar dados de entrada ao Firehose
  • Armazenar dados
  • Visualizar dados
  • Criar alertas em tempo real
  • Monitorar o stream
  • Atender a requisitos
Streaming de dados com AWS Kinesis e Lambda

2020-08-11_18-31.png

Streaming de dados com AWS Kinesis e Lambda

Requisitos

  • Tweets devem ter a hashtag #sandiego
  • Tweets devem chegar em tempo real
  • Tweets devem vir com sentimento enriquecido
  • Visualizar os últimos 15 minutos
  • Notificar o gerente se >3 tweets negativos em 5 minutos
  • O stream deve minimizar perda por indisponibilidade
  • Dados devem persistir para análise posterior
Streaming de dados com AWS Kinesis e Lambda

Tweets chegam em tempo real

2020-08-02_08-38.png

Streaming de dados com AWS Kinesis e Lambda

Enriquecidos com sentimento

Streaming de dados com AWS Kinesis e Lambda

Dados devem persistir para análise depois

2020-08-02_08-42.png

Streaming de dados com AWS Kinesis e Lambda

Visualizar os últimos 15 minutos

2020-08-11_18-44.png

Streaming de dados com AWS Kinesis e Lambda

Redshift vs Elasticsearch

Redshift

  • Feito para armazenar tabelas limpas
  • Esquema definido no banco
  • SQL para consultas
  • Integra bem com BI como o Tableau

Elasticsearch

  • Sem esquema — bom para logs e texto
  • Esquema criado na consulta
  • Usa linguagem própria de consulta
  • Tem UI própria — Kibana
Streaming de dados com AWS Kinesis e Lambda

Vamos praticar!

Streaming de dados com AWS Kinesis e Lambda

Preparing Video For Download...