Estudio de caso: datos en streaming

Streaming de datos con AWS Kinesis y Lambda

Maksim Pecherskiy

Data Engineer

Este capítulo

  • Envía los datos entrantes a Firehose
  • Almacena datos
  • Visualiza datos
  • Configura alertas en tiempo real
  • Monitorea el stream
  • Cumple un conjunto de requisitos
Streaming de datos con AWS Kinesis y Lambda

2020-08-11_18-31.png

Streaming de datos con AWS Kinesis y Lambda

Requisitos

  • Tweets con el hashtag #sandiego
  • Tweets en tiempo real
  • Tweets enriquecidos con sentimiento
  • Visualizar los últimos 15 minutos
  • Avisar al manager si >3 tweets negativos en 5 min
  • El stream debe minimizar la pérdida por caídas
  • Los datos deben persistir para analizarlos luego
Streaming de datos con AWS Kinesis y Lambda

Tweets en tiempo real

2020-08-02_08-38.png

Streaming de datos con AWS Kinesis y Lambda

Enriquecidos con sentimiento

Streaming de datos con AWS Kinesis y Lambda

Los datos deben persistir para analizarlos después

2020-08-02_08-42.png

Streaming de datos con AWS Kinesis y Lambda

Visualizar últimos 15 minutos

2020-08-11_18-44.png

Streaming de datos con AWS Kinesis y Lambda

Redshift vs Elasticsearch

Redshift

  • Diseñado para tablas limpias de datos
  • Esquema definido en la base de datos
  • SQL para consultas
  • Funciona muy bien con BI como Tableau

Elasticsearch

  • Sin esquema: ideal para logs y texto
  • El esquema se crea en la consulta
  • Usa su propio lenguaje de consulta
  • Tiene su propia UI: Kibana
Streaming de datos con AWS Kinesis y Lambda

¡Vamos a practicar!

Streaming de datos con AWS Kinesis y Lambda

Preparing Video For Download...