Кейс: потокові дані

Потокові дані з AWS Kinesis і Lambda

Maksim Pecherskiy

Data Engineer

У цьому розділі

  • Надсилати вхідні дані до Firehose
  • Зберігати дані
  • Візуалізувати дані
  • Налаштувати сповіщення в реальному часі
  • Моніторити потік
  • Виконати набір вимог
Потокові дані з AWS Kinesis і Lambda

2020-08-11_18-31.png

Потокові дані з AWS Kinesis і Lambda

Вимоги

  • Твіти мають містити хештег #sandiego
  • Твіти мають надходити в реальному часі
  • Твіти мають бути збагачені сентиментом
  • Візуалізувати останні 15 хвилин даних
  • Сповістити менеджера, якщо >3 негативні твіти за 5 хвилин
  • Потік має мінімізувати втрати даних під час простоїв
  • Дані мають зберігатися для подальшого аналізу
Потокові дані з AWS Kinesis і Lambda

Твіти надходять у реальному часі

2020-08-02_08-38.png

Потокові дані з AWS Kinesis і Lambda

Збагачені сентиментом

Потокові дані з AWS Kinesis і Lambda

Дані мають зберігатися для подальшого аналізу

2020-08-02_08-42.png

Потокові дані з AWS Kinesis і Lambda

Візуалізувати останні 15 хвилин

2020-08-11_18-44.png

Потокові дані з AWS Kinesis і Lambda

Redshift проти Elasticsearch

Redshift

  • Створений для зберігання чистих таблиць даних
  • Схема визначена в базі даних
  • SQL для запитів
  • Чудово працює з BI-інструментами на кшталт Tableau

Elasticsearch

  • Без схеми — добре для логів і тексту
  • Схема формується під час запиту
  • Використовує власну мову запитів
  • Має власний інтерфейс — Kibana
Потокові дані з AWS Kinesis і Lambda

Давайте потренуємось!

Потокові дані з AWS Kinesis і Lambda

Preparing Video For Download...