การวิเคราะห์ข้อมูลในสตรีม

Streaming Data ด้วย AWS Kinesis และ Lambda

Maksim Pecherskiy

Data Engineer

บทเรียนที่แล้ว

กราฟ

Streaming Data ด้วย AWS Kinesis และ Lambda

บทเรียนนี้

กราฟ

Streaming Data ด้วย AWS Kinesis และ Lambda

Kinesis Data Analytics

กราฟ

Streaming Data ด้วย AWS Kinesis และ Lambda

Kinesis Data Analytics

กราฟ

Streaming Data ด้วย AWS Kinesis และ Lambda

Kinesis Data Analytics

กราฟ

Streaming Data ด้วย AWS Kinesis และ Lambda

ทำไมต้องใช้ Kinesis Data Analytics

กราฟ

Streaming Data ด้วย AWS Kinesis และ Lambda

Kinesis Data Analytics เทียบกับ Transformation Lambda

Transformational Lambda
  • Python + Pandas
  • กรอง / รวมข้อมูล
  • Fixed window
  • เหมาะสำหรับการแปลงข้อมูลแบบรายรายการ
  • ไม่สามารถรวมหลายสตรีมได้
  • ไม่ใช่วิธีที่ดีที่สุดในการส่งผลลัพธ์ไปยังปลายทางอื่น
Kinesis Data Analytics
  • SQL
  • กรอง / รวมข้อมูล
  • ควบคุม window ได้เอง
  • มองสตรีมเป็นช่วงๆ ได้
  • รวมหลายสตรีมได้
  • ส่งผลลัพธ์ไปยังสตรีมอื่นหรือปลายทางอื่นได้
Streaming Data ด้วย AWS Kinesis และ Lambda

Kinesis Data Analytics SQL

กราฟ

Streaming Data ด้วย AWS Kinesis และ Lambda

Kinesis Data Analytics SQL

-- Create destination SQL stream
CREATE OR REPLACE STREAM "DESTINATION_SQL_STREAM" 
(ITEM VARCHAR(1024), ITEM_COUNT DOUBLE);

-- Create the pump CREATE OR REPLACE PUMP "STREAM_PUMP" AS INSERT INTO "DESTINATION_SQL_STREAM"
-- Pump the results SELECT * FROM "SOURCE_SQL_STREAM__001"
Streaming Data ด้วย AWS Kinesis และ Lambda

ตัวเลือกที่ทำได้

  • รวมหลายสตรีมเข้าด้วยกัน
  • เพิ่มข้อมูลจากรายการแบบ static ด้วย join
  • ตรวจจับความผิดปกติในข้อมูล
  • กรองข้อมูลแบบต่อเนื่อง
  • ค้นหารายการที่ซ้ำมากที่สุด x อันดับในช่วงเวลาหนึ่ง
Streaming Data ด้วย AWS Kinesis และ Lambda

การค้นหา overpinger

2020-07-21_05-19.png

Streaming Data ด้วย AWS Kinesis และ Lambda

มาฝึกกันเถอะ!

Streaming Data ด้วย AWS Kinesis และ Lambda

Preparing Video For Download...