Nghiên cứu tình huống dữ liệu streaming

Xử lý dữ liệu streaming với AWS Kinesis và Lambda

Maksim Pecherskiy

Data Engineer

Chương này

  • Gửi dữ liệu vào Firehose
  • Lưu trữ dữ liệu
  • Trực quan hóa dữ liệu
  • Đặt cảnh báo theo thời gian thực
  • Giám sát luồng
  • Đáp ứng bộ yêu cầu
Xử lý dữ liệu streaming với AWS Kinesis và Lambda

2020-08-11_18-31.png

Xử lý dữ liệu streaming với AWS Kinesis và Lambda

Yêu cầu

  • Tweet phải có hashtag #sandiego
  • Tweet đến theo thời gian thực
  • Tweet kèm phân tích cảm xúc
  • Trực quan hóa 15 phút gần nhất
  • Báo quản lý nếu >3 tweet tiêu cực trong 5 phút
  • Luồng nên giảm thiểu mất dữ liệu do downtime
  • Dữ liệu phải lưu trữ để phân tích sau
Xử lý dữ liệu streaming với AWS Kinesis và Lambda

Tweet đến theo thời gian thực

2020-08-02_08-38.png

Xử lý dữ liệu streaming với AWS Kinesis và Lambda

Làm giàu với cảm xúc

Xử lý dữ liệu streaming với AWS Kinesis và Lambda

Dữ liệu phải lưu trữ để phân tích sau

2020-08-02_08-42.png

Xử lý dữ liệu streaming với AWS Kinesis và Lambda

Trực quan hóa 15 phút gần nhất

2020-08-11_18-44.png

Xử lý dữ liệu streaming với AWS Kinesis và Lambda

Redshift vs Elasticsearch

Redshift

  • Thiết kế để lưu bảng dữ liệu sạch
  • Lược đồ định nghĩa trong cơ sở dữ liệu
  • Dùng SQL để truy vấn
  • Tích hợp tốt với BI như Tableau

Elasticsearch

  • Không lược đồ - tốt cho log và văn bản
  • Lược đồ tạo khi truy vấn
  • Dùng ngôn ngữ truy vấn riêng
  • Có UI riêng - Kibana
Xử lý dữ liệu streaming với AWS Kinesis và Lambda

Luyện tập nào!

Xử lý dữ liệu streaming với AWS Kinesis và Lambda

Preparing Video For Download...