串流中的資料分析

使用 AWS Kinesis 與 Lambda 的串流資料

Maksim Pecherskiy

Data Engineer

上一節課

圖表

使用 AWS Kinesis 與 Lambda 的串流資料

本節課

圖表

使用 AWS Kinesis 與 Lambda 的串流資料

Kinesis Data Analytics

圖表

使用 AWS Kinesis 與 Lambda 的串流資料

Kinesis Data Analytics

圖表

使用 AWS Kinesis 與 Lambda 的串流資料

Kinesis Data Analytics

圖表

使用 AWS Kinesis 與 Lambda 的串流資料

為何使用 Kinesis Data Analytics

圖表

使用 AWS Kinesis 與 Lambda 的串流資料

Kinesis Data Analytics vs 轉換 Lambda

轉換用 Lambda
  • Python + pandas
  • 篩選/彙總
  • 固定視窗
  • 適合逐筆轉換
  • 無法合併多個串流
  • 不利於輸出到其他目的地
Kinesis Data Analytics
  • SQL
  • 篩選/彙總
  • 視窗由我們控制
  • 可分段檢視串流
  • 可合併多個串流
  • 可輸出到其他串流或目的地
使用 AWS Kinesis 與 Lambda 的串流資料

Kinesis Data Analytics SQL

圖表

使用 AWS Kinesis 與 Lambda 的串流資料

Kinesis Data Analytics SQL

-- Create destination SQL stream
CREATE OR REPLACE STREAM "DESTINATION_SQL_STREAM" 
(ITEM VARCHAR(1024), ITEM_COUNT DOUBLE);

-- Create the pump CREATE OR REPLACE PUMP "STREAM_PUMP" AS INSERT INTO "DESTINATION_SQL_STREAM"
-- Pump the results SELECT * FROM "SOURCE_SQL_STREAM__001"
使用 AWS Kinesis 與 Lambda 的串流資料

可用選項

  • 合併多個串流
  • 用 join 從靜態清單豐富資料
  • 偵測資料異常
  • 持續篩選資料
  • 在時間範圍內找出前 x 名重複項
使用 AWS Kinesis 與 Lambda 的串流資料

找出過度 ping 的來源

2020-07-21_05-19.png

使用 AWS Kinesis 與 Lambda 的串流資料

一起來練習吧!

使用 AWS Kinesis 與 Lambda 的串流資料

Preparing Video For Download...