Визуализация потоковых данных

Потоковая обработка данных с AWS Kinesis и Lambda

Maksim Pecherskiy

Data Engineer

Наш конвейер на данный момент

2020-08-02_15-29.png

Потоковая обработка данных с AWS Kinesis и Lambda

Представление Kibana Discover

2020-08-02_16-03.png

Потоковая обработка данных с AWS Kinesis и Lambda

Визуализации в Kibana

2020-08-11_07-16.png

Потоковая обработка данных с AWS Kinesis и Lambda

Дашборды и оповещения

2020-08-11_07-32.png

Потоковая обработка данных с AWS Kinesis и Lambda

Elasticsearch vs CloudWatch

CloudWatch

  • Ориентирован на AWS
  • Принимает пользовательские данные, но это не основной сценарий
  • Хорошо подходит для работы с логами

Elasticsearch

  • Универсальный инструмент с открытым исходным кодом
  • Принимает произвольные данные, включая логи
  • Более богатая визуализация, чем в CloudWatch
  • Развитая экосистема плагинов
Потоковая обработка данных с AWS Kinesis и Lambda

Давайте потренируемся!

Потоковая обработка данных с AWS Kinesis и Lambda

Preparing Video For Download...