流中数据分析

使用 AWS Kinesis 与 Lambda 处理流数据

Maksim Pecherskiy

Data Engineer

上节课

图表

使用 AWS Kinesis 与 Lambda 处理流数据

本节内容

图表

使用 AWS Kinesis 与 Lambda 处理流数据

Kinesis Data Analytics

图表

使用 AWS Kinesis 与 Lambda 处理流数据

Kinesis Data Analytics

图表

使用 AWS Kinesis 与 Lambda 处理流数据

Kinesis Data Analytics

图表

使用 AWS Kinesis 与 Lambda 处理流数据

为何选择 Kinesis Data Analytics

图表

使用 AWS Kinesis 与 Lambda 处理流数据

Kinesis Data Analytics 与转换型 Lambda 对比

转换型 Lambda
  • Python + Pandas
  • 过滤 / 聚合
  • 固定窗口
  • 适合逐项转换
  • 不能合并多条流
  • 不利于将输出发送到其他目标
Kinesis Data Analytics
  • SQL
  • 过滤 / 聚合
  • 可控窗口
  • 分段查看流
  • 可合并多条流
  • 可将输出发送到其他流或目标
使用 AWS Kinesis 与 Lambda 处理流数据

Kinesis Data Analytics SQL

图表

使用 AWS Kinesis 与 Lambda 处理流数据

Kinesis Data Analytics SQL

-- Create destination SQL stream
CREATE OR REPLACE STREAM "DESTINATION_SQL_STREAM" 
(ITEM VARCHAR(1024), ITEM_COUNT DOUBLE);

-- Create the pump
CREATE OR REPLACE PUMP "STREAM_PUMP" AS INSERT INTO "DESTINATION_SQL_STREAM"

-- Pump the results
SELECT * FROM "SOURCE_SQL_STREAM__001"
使用 AWS Kinesis 与 Lambda 处理流数据

可选方案

  • 连接多条流
  • 通过连接从静态列表富化数据
  • 发现异常
  • 持续过滤数据
  • 在时间窗内找出出现次数前 x 的项
使用 AWS Kinesis 与 Lambda 处理流数据

定位过度 ping 者

2020-07-21_05-19.png

使用 AWS Kinesis 与 Lambda 处理流数据

开始练习！

使用 AWS Kinesis 与 Lambda 处理流数据

Preparing Video For Download...