可视化流数据

使用 AWS Kinesis 与 Lambda 处理流数据

Maksim Pecherskiy

Data Engineer

目前的管道

2020-08-02_15-29.png

使用 AWS Kinesis 与 Lambda 处理流数据

Kibana 的 Discover 视图

2020-08-02_16-03.png

使用 AWS Kinesis 与 Lambda 处理流数据

Kibana 可视化

2020-08-11_07-16.png

使用 AWS Kinesis 与 Lambda 处理流数据

仪表板与告警

2020-08-11_07-32.png

使用 AWS Kinesis 与 Lambda 处理流数据

Elasticsearch 与 CloudWatch 对比

CloudWatch

  • 面向 AWS 生态
  • 可接收自定义数据,但非主要用途
  • 适合处理日志

Elasticsearch

  • 通用的开源工具
  • 接收自定义数据,包括日志
  • 可视化优于 CloudWatch
  • 插件生态完善
使用 AWS Kinesis 与 Lambda 处理流数据

Let's practice!

使用 AWS Kinesis 与 Lambda 处理流数据

Preparing Video For Download...