Menganalisis data dalam stream

Streaming Data dengan AWS Kinesis dan Lambda

Maksim Pecherskiy

Data Engineer

Pelajaran sebelumnya

grafik

Streaming Data dengan AWS Kinesis dan Lambda

Pelajaran ini

grafik

Streaming Data dengan AWS Kinesis dan Lambda

Kinesis Data Analytics

grafik

Streaming Data dengan AWS Kinesis dan Lambda

Kinesis Data Analytics

grafik

Streaming Data dengan AWS Kinesis dan Lambda

Kinesis Data Analytics

grafik

Streaming Data dengan AWS Kinesis dan Lambda

Mengapa Kinesis Data Analytics

grafik

Streaming Data dengan AWS Kinesis dan Lambda

Kinesis Data Analytics vs Lambda transformasi

Lambda transformasional
  • Python + Pandas
  • Filter / agregasi
  • Jendela tetap
  • Bagus untuk transformasi per item
  • Tidak bisa menggabungkan banyak stream
  • Kurang cocok mengirim output ke tujuan lain
Kinesis Data Analytics
  • SQL
  • Filter / agregasi
  • Kita mengatur jendela
  • Memungkinkan melihat stream per potongan
  • Dapat menggabungkan banyak stream
  • Dapat mengirim output ke stream lain atau tujuan lain
Streaming Data dengan AWS Kinesis dan Lambda

SQL di Kinesis Data Analytics

grafik

Streaming Data dengan AWS Kinesis dan Lambda

SQL di Kinesis Data Analytics

-- Create destination SQL stream
CREATE OR REPLACE STREAM "DESTINATION_SQL_STREAM" 
(ITEM VARCHAR(1024), ITEM_COUNT DOUBLE);

-- Create the pump
CREATE OR REPLACE PUMP "STREAM_PUMP" AS INSERT INTO "DESTINATION_SQL_STREAM"

-- Pump the results
SELECT * FROM "SOURCE_SQL_STREAM__001"
Streaming Data dengan AWS Kinesis dan Lambda

Beberapa opsi

  • Gabungkan banyak stream
  • Perkaya data dari daftar statis dengan join
  • Temukan anomali
  • Filter data terus-menerus
  • Cari x item teratas yang berulang dalam rentang waktu
Streaming Data dengan AWS Kinesis dan Lambda

Menemukan overpinger

2020-07-21_05-19.png

Streaming Data dengan AWS Kinesis dan Lambda

Ayo berlatih!

Streaming Data dengan AWS Kinesis dan Lambda

Preparing Video For Download...