Аналіз даних у потоці

Потокові дані з AWS Kinesis і Lambda

Maksim Pecherskiy

Data Engineer

Минулий урок

графік

Потокові дані з AWS Kinesis і Lambda

Цей урок

графік

Потокові дані з AWS Kinesis і Lambda

Kinesis Data Analytics

графік

Потокові дані з AWS Kinesis і Lambda

Kinesis Data Analytics

графік

Потокові дані з AWS Kinesis і Lambda

Kinesis Data Analytics

графік

Потокові дані з AWS Kinesis і Lambda

Чому Kinesis Data Analytics

графік

Потокові дані з AWS Kinesis і Lambda

Kinesis Data Analytics vs Lambda для трансформацій

Трансформаційна Lambda
  • Python + Pandas
  • Фільтрація / агрегація
  • Фіксоване вікно
  • Добре для перетворень на рівні елемента
  • Не можна поєднувати кілька потоків
  • Не найкращий спосіб надсилати вихід в інше місце призначення
Kinesis Data Analytics
  • SQL
  • Фільтрація / агрегація
  • Ми керуємо вікном
  • Дозволяє аналізувати потік частинами
  • Може поєднувати кілька потоків
  • Може надсилати вихід в інший потік або до інших місць призначення
Потокові дані з AWS Kinesis і Lambda

Kinesis Data Analytics SQL

графік

Потокові дані з AWS Kinesis і Lambda

Kinesis Data Analytics SQL

-- Create destination SQL stream
CREATE OR REPLACE STREAM "DESTINATION_SQL_STREAM" 
(ITEM VARCHAR(1024), ITEM_COUNT DOUBLE);

-- Create the pump CREATE OR REPLACE PUMP "STREAM_PUMP" AS INSERT INTO "DESTINATION_SQL_STREAM"
-- Pump the results SELECT * FROM "SOURCE_SQL_STREAM__001"
Потокові дані з AWS Kinesis і Lambda

Деякі можливості

  • Об'єднувати кілька потоків
  • Збагачувати дані зі статичного списку через join
  • Шукати аномалії в даних
  • Безперервно фільтрувати дані
  • Знаходити топ‑x повторюваних елементів у проміжку часу
Потокові дані з AWS Kinesis і Lambda

Пошук overpingers

2020-07-21_05-19.png

Потокові дані з AWS Kinesis і Lambda

Давайте потренуємось!

Потокові дані з AWS Kinesis і Lambda

Preparing Video For Download...