串流資料個案研究

使用 AWS Kinesis 與 Lambda 的串流資料

Maksim Pecherskiy

Data Engineer

本章內容

• 將傳入資料送到 Firehose
• 儲存資料
• 視覺化資料
• 即時設定警示
• 監控串流
• 符合要求清單

需求

• 推文必須包含 #sandiego 標籤
• 推文必須即時到達
• 推文需附帶情緒分析結果
• 視覺化最近 15 分鐘的資料
• 若 5 分鐘內負面推文 >3 則通知主管
• 串流應將因停機導致的遺失降到最低
• 資料需持久保存以供後續分析

推文即時到達

附帶情緒資訊

資料需持久保存以供後續分析

視覺化最近 15 分鐘

Redshift vs Elasticsearch

Redshift

• 為儲存乾淨的資料表而設計
• 綱要在資料庫中定義
• 使用 SQL 查詢
• 與 Tableau 等 BI 工具整合佳

Elasticsearch

• 無綱要——適合日誌與文字
• 查詢時動態建立綱要
• 查詢使用自有語言
• 具備自家 UI——Kibana

一起來練習吧！

使用 AWS Kinesis 與 Lambda 的串流資料