ストリーミングデータの可視化

AWS Kinesis と Lambda で学ぶストリーミングデータ

Maksim Pecherskiy

Data Engineer

これまでのパイプライン

2020-08-02_15-29.png

AWS Kinesis と Lambda で学ぶストリーミングデータ

Kibana の Discover 画面

2020-08-02_16-03.png

AWS Kinesis と Lambda で学ぶストリーミングデータ

Kibana の可視化

2020-08-11_07-16.png

AWS Kinesis と Lambda で学ぶストリーミングデータ

ダッシュボードとアラート

2020-08-11_07-32.png

AWS Kinesis と Lambda で学ぶストリーミングデータ

Elasticsearch と CloudWatch の比較

CloudWatch

  • AWS に特化
  • カスタムデータも可だが主用途ではない
  • ログ処理に強い

Elasticsearch

  • 汎用のオープンソースツール
  • ログを含むカスタムデータを受け入れ
  • CloudWatch より可視化が良い
  • 充実したプラグインエコシステム
AWS Kinesis と Lambda で学ぶストリーミングデータ

Let's practice!

AWS Kinesis と Lambda で学ぶストリーミングデータ

Preparing Video For Download...