Akışta veriyi analiz etme

AWS Kinesis ve Lambda ile Akış Verileri

Maksim Pecherskiy

Data Engineer

Önceki ders

grafik

AWS Kinesis ve Lambda ile Akış Verileri

Bu ders

grafik

AWS Kinesis ve Lambda ile Akış Verileri

Kinesis Data Analytics

grafik

AWS Kinesis ve Lambda ile Akış Verileri

Kinesis Data Analytics

grafik

AWS Kinesis ve Lambda ile Akış Verileri

Kinesis Data Analytics

grafik

AWS Kinesis ve Lambda ile Akış Verileri

Neden Kinesis Data Analytics

grafik

AWS Kinesis ve Lambda ile Akış Verileri

Kinesis Data Analytics vs dönüşüm Lambdaları

Dönüşümsel Lambda
  • Python + Pandas
  • Filtrele / özetle
  • Sabit pencere
  • Öğre başına dönüşümler için iyi
  • Birden çok akışı birleştiremez
  • Çıktıyı başka bir hedefe göndermede ideal değil
Kinesis Data Analytics
  • SQL
  • Filtrele / özetle
  • Pencereyi biz kontrol ederiz
  • Akışı parça parça incelememizi sağlar
  • Birden çok akışı birleştirebilir
  • Çıktıyı başka bir akışa veya hedefe gönderebilir
AWS Kinesis ve Lambda ile Akış Verileri

Kinesis Data Analytics SQL

grafik

AWS Kinesis ve Lambda ile Akış Verileri

Kinesis Data Analytics SQL

-- Create destination SQL stream
CREATE OR REPLACE STREAM "DESTINATION_SQL_STREAM" 
(ITEM VARCHAR(1024), ITEM_COUNT DOUBLE);

-- Create the pump CREATE OR REPLACE PUMP "STREAM_PUMP" AS INSERT INTO "DESTINATION_SQL_STREAM"
-- Pump the results SELECT * FROM "SOURCE_SQL_STREAM__001"
AWS Kinesis ve Lambda ile Akış Verileri

Bazı seçenekler

  • Birden çok akışı birleştirme
  • Sabit bir listeden join ile zenginleştirme
  • Veride anomali bulma
  • Sürekli filtreleme
  • Belirli sürede en çok tekrar eden x öğeyi bulma
AWS Kinesis ve Lambda ile Akış Verileri

Aşırı ping atanları bulma

2020-07-21_05-19.png

AWS Kinesis ve Lambda ile Akış Verileri

Haydi pratik yapalım!

AWS Kinesis ve Lambda ile Akış Verileri

Preparing Video For Download...