ストリーム内データの分析

AWS Kinesis と Lambda で学ぶストリーミングデータ

Maksim Pecherskiy

Data Engineer

前回のレッスン

グラフ

AWS Kinesis と Lambda で学ぶストリーミングデータ

今回のレッスン

グラフ

AWS Kinesis と Lambda で学ぶストリーミングデータ

Kinesis Data Analytics

グラフ

AWS Kinesis と Lambda で学ぶストリーミングデータ

Kinesis Data Analytics

グラフ

AWS Kinesis と Lambda で学ぶストリーミングデータ

Kinesis Data Analytics

グラフ

AWS Kinesis と Lambda で学ぶストリーミングデータ

Kinesis Data Analytics を選ぶ理由

グラフ

AWS Kinesis と Lambda で学ぶストリーミングデータ

Kinesis Data Analytics と変換用 Lambda の比較

変換用 Lambda
  • Python + Pandas
  • フィルタ/集計
  • 固定ウィンドウ
  • アイテム単位の変換に最適
  • 複数ストリームは結合不可
  • 他宛先への出力は不得手
Kinesis Data Analytics
  • SQL
  • フィルタ/集計
  • ウィンドウを制御可能
  • ストリームを塊で分析
  • 複数ストリームを結合可能
  • 別ストリームや他の宛先へ出力可能
AWS Kinesis と Lambda で学ぶストリーミングデータ

Kinesis Data Analytics の SQL

グラフ

AWS Kinesis と Lambda で学ぶストリーミングデータ

Kinesis Data Analytics の SQL

-- Create destination SQL stream
CREATE OR REPLACE STREAM "DESTINATION_SQL_STREAM" 
(ITEM VARCHAR(1024), ITEM_COUNT DOUBLE);

-- Create the pump
CREATE OR REPLACE PUMP "STREAM_PUMP" AS INSERT INTO "DESTINATION_SQL_STREAM"

-- Pump the results
SELECT * FROM "SOURCE_SQL_STREAM__001"
AWS Kinesis と Lambda で学ぶストリーミングデータ

できることの例

  • 複数ストリームの結合
  • 静的リストと結合してデータを拡充
  • 異常検知
  • 連続フィルタリング
  • 期間内の上位x件の反復項目を抽出
AWS Kinesis と Lambda で学ぶストリーミングデータ

過剰 pinger の検出

2020-07-21_05-19.png

AWS Kinesis と Lambda で学ぶストリーミングデータ

練習しましょう！

AWS Kinesis と Lambda で学ぶストリーミングデータ

Preparing Video For Download...