Analiza danych w strumieniu

Strumieniowanie danych z AWS Kinesis i Lambda

Maksim Pecherskiy

Data Engineer

Poprzednia lekcja

wykres

Ta lekcja

wykres

Kinesis Data Analytics

wykres

Kinesis Data Analytics

wykres

Kinesis Data Analytics

wykres

Dlaczego Kinesis Data Analytics

wykres

Kinesis Data Analytics a transformacyjne Lambdy

Transformacyjna Lambda

Python + Pandas
Filtrowanie / agregacja
Stałe okno
Świetna do transformacji danych per element
Nie łączy wielu strumieni
Nieoptymalna do wysyłania danych do innych miejsc

Kinesis Data Analytics

SQL
Filtrowanie / agregacja
Kontrolujemy okno
Pozwala analizować strumień partiami
Może łączyć wiele strumieni
Może wysyłać dane do innego strumienia lub innych miejsc

SQL w Kinesis Data Analytics

wykres

SQL w Kinesis Data Analytics

-- Create destination SQL stream
CREATE OR REPLACE STREAM "DESTINATION_SQL_STREAM" 
(ITEM VARCHAR(1024), ITEM_COUNT DOUBLE);

-- Create the pump
CREATE OR REPLACE PUMP "STREAM_PUMP" AS INSERT INTO "DESTINATION_SQL_STREAM"

-- Pump the results
SELECT * FROM "SOURCE_SQL_STREAM__001"

Wybrane możliwości

Łączenie wielu strumieni
Wzbogacanie danych ze statycznej listy za pomocą złączenia
Wykrywanie anomalii w danych
Ciągłe filtrowanie danych
Znajdowanie x najczęściej powtarzających się elementów w danym przedziale czasu

Wykrywanie nadmiernych pingerów

Czas na ćwiczenia!

Strumieniowanie danych z AWS Kinesis i Lambda