Trực quan hóa dữ liệu streaming

Xử lý dữ liệu streaming với AWS Kinesis và Lambda

Maksim Pecherskiy

Data Engineer

Pipeline hiện tại

2020-08-02_15-29.png

Xử lý dữ liệu streaming với AWS Kinesis và Lambda

Chế độ Discover của Kibana

2020-08-02_16-03.png

Xử lý dữ liệu streaming với AWS Kinesis và Lambda

Biểu đồ Kibana

2020-08-11_07-16.png

Xử lý dữ liệu streaming với AWS Kinesis và Lambda

Bảng điều khiển và cảnh báo

2020-08-11_07-32.png

Xử lý dữ liệu streaming với AWS Kinesis và Lambda

Elasticsearch vs CloudWatch

CloudWatch

  • Tập trung cho AWS
  • Nhận dữ liệu tùy chỉnh, nhưng không phải mục đích chính
  • Tốt cho xử lý log

Elasticsearch

  • Công cụ chung, mã nguồn mở
  • Nhận dữ liệu tùy chỉnh, gồm cả log
  • Trực quan hóa tốt hơn CloudWatch
  • Hệ sinh thái plugin mạnh
Xử lý dữ liệu streaming với AWS Kinesis và Lambda

Hãy cùng thực hành!

Xử lý dữ liệu streaming với AWS Kinesis và Lambda

Preparing Video For Download...