Анализ данных в потоке

Потоковая обработка данных с AWS Kinesis и Lambda

Maksim Pecherskiy

Data Engineer

Прошлый урок

graph

Этот урок

graph

Kinesis Data Analytics

graph

Kinesis Data Analytics

graph

Kinesis Data Analytics

graph

Зачем использовать Kinesis Data Analytics

graph

Kinesis Data Analytics и трансформационные Lambda-функции

Трансформационная Lambda

Python + Pandas
Фильтрация / агрегация
Фиксированное окно
Отлично подходит для преобразования данных по элементу
Не позволяет объединять несколько потоков
Не лучший способ передачи результатов в другой адресат

Kinesis Data Analytics

SQL
Фильтрация / агрегация
Управление окном на наше усмотрение
Позволяет анализировать поток по частям
Поддерживает объединение нескольких потоков
Позволяет направлять результат в другой поток или иные адресаты

SQL в Kinesis Data Analytics

graph

SQL в Kinesis Data Analytics

-- Create destination SQL stream
CREATE OR REPLACE STREAM "DESTINATION_SQL_STREAM" 
(ITEM VARCHAR(1024), ITEM_COUNT DOUBLE);

-- Create the pump
CREATE OR REPLACE PUMP "STREAM_PUMP" AS INSERT INTO "DESTINATION_SQL_STREAM"

-- Pump the results
SELECT * FROM "SOURCE_SQL_STREAM__001"

Некоторые возможности

Объединение нескольких потоков
Обогащение данных из статического списка через JOIN
Обнаружение аномалий в данных
Непрерывная фильтрация данных
Поиск наиболее часто повторяющихся элементов за период

Обнаружение чрезмерно активных пингов

Давайте потренируемся!

Потоковая обработка данных с AWS Kinesis и Lambda