ストリーミングデータのケーススタディ

AWS Kinesis と Lambda で学ぶストリーミングデータ

Maksim Pecherskiy

Data Engineer

このチャプターで学ぶこと

• 受信データを Firehose に送信
• データを保存
• データを可視化
• リアルタイムでアラート設定
• ストリームを監視
• 要件を満たす

要件

• ツイートは #sandiego ハッシュタグ必須
• ツイートはリアルタイムで取得
• ツイートは感情分析付きで到着
• 直近15分のデータを可視化
• 5分間にネガティブが3件超なら管理者に通知
• ダウンタイム時の損失を最小化
• 後で分析できるようデータを永続化

ツイートはリアルタイムで到着

感情分析でエンリッチ

後で分析できるようデータを永続化

直近15分を可視化

Redshift と Elasticsearch の比較

Redshift

• クリーンな表データの保存向け
• スキーマはDBで定義
• クエリはSQL
• TableauなどのBIツールと好相性

Elasticsearch

• スキーマレス：ログやテキストに最適
• クエリ時にスキーマ生成
• 独自のクエリ言語
• 独自UI：Kibana

練習しましょう！

AWS Kinesis と Lambda で学ぶストリーミングデータ