流数据案例研究

使用 AWS Kinesis 与 Lambda 处理流数据

Maksim Pecherskiy

Data Engineer

本章内容

• 将入站数据发送到 Firehose
• 存储数据
• 可视化数据
• 实时设置告警
• 监控流
• 满足一组需求

需求

• 推文需包含 #sandiego 标签
• 推文需实时到达
• 推文需带情感分析结果
• 可视化最近15分钟数据
• 5分钟内负面推文>3时通知经理
• 流应尽量减少因停机导致的数据丢失
• 数据需持久化以便后续分析

推文实时到达

带情感分析

数据需持久化以便后续分析

可视化最近15分钟

Redshift vs Elasticsearch

Redshift

• 适合存储干净的表数据
• 在数据库中定义模式
• 用 SQL 查询
• 与 Tableau 等 BI 工具配合良好

Elasticsearch

• 无模式——适合日志和文本
• 查询时生成模式
• 使用自有查询语言
• 自带 UI：Kibana

让我们来练习！

使用 AWS Kinesis 与 Lambda 处理流数据