स्ट्रीम में डेटा का विश्लेषण

AWS Kinesis और Lambda के साथ स्ट्रीमिंग डेटा

Maksim Pecherskiy

Data Engineer

पिछला पाठ

graph

AWS Kinesis और Lambda के साथ स्ट्रीमिंग डेटा

यह पाठ

graph

AWS Kinesis और Lambda के साथ स्ट्रीमिंग डेटा

Kinesis Data Analytics

graph

AWS Kinesis और Lambda के साथ स्ट्रीमिंग डेटा

Kinesis Data Analytics

graph

AWS Kinesis और Lambda के साथ स्ट्रीमिंग डेटा

Kinesis Data Analytics

graph

AWS Kinesis और Lambda के साथ स्ट्रीमिंग डेटा

Kinesis Data Analytics क्यों

graph

AWS Kinesis और Lambda के साथ स्ट्रीमिंग डेटा

Kinesis Data Analytics बनाम ट्रांसफॉर्मेशन Lambdas

ट्रांसफॉर्मेशनल Lambda
  • Python + Pandas
  • फ़िल्टर / एग्रीगेट
  • फ़िक्स्ड विंडो
  • प्रति आइटम डेटा ट्रांसफॉर्मेशन के लिए बढ़िया
  • कई स्ट्रीम्स को नहीं जोड़ सकता
  • आउटपुट दूसरी डेस्टिनेशन को भेजने का सबसे अच्छा तरीका नहीं
Kinesis Data Analytics
  • SQL
  • फ़िल्टर / एग्रीगेट
  • विंडो हम नियंत्रित करते हैं
  • स्ट्रीम को हिस्सों में देखने देते हैं
  • कई स्ट्रीम्स जोड़ सकते हैं
  • आउटपुट दूसरी स्ट्रीम या अन्य डेस्टिनेशंस को भेज सकते हैं
AWS Kinesis और Lambda के साथ स्ट्रीमिंग डेटा

Kinesis Data Analytics SQL

graph

AWS Kinesis और Lambda के साथ स्ट्रीमिंग डेटा

Kinesis Data Analytics SQL

-- Create destination SQL stream
CREATE OR REPLACE STREAM "DESTINATION_SQL_STREAM" 
(ITEM VARCHAR(1024), ITEM_COUNT DOUBLE);

-- Create the pump CREATE OR REPLACE PUMP "STREAM_PUMP" AS INSERT INTO "DESTINATION_SQL_STREAM"
-- Pump the results SELECT * FROM "SOURCE_SQL_STREAM__001"
AWS Kinesis और Lambda के साथ स्ट्रीमिंग डेटा

कुछ विकल्प

  • कई स्ट्रीम्स को जॉइन करें
  • जॉइन से स्टैटिक लिस्ट से डेटा एन्हांस करें
  • डेटा में अनोमली ढूँढें
  • लगातार डेटा फ़िल्टर करें
  • तय समय-सीमा में टॉप x रिपीटिंग आइटम्स ढूँढें
AWS Kinesis और Lambda के साथ स्ट्रीमिंग डेटा

ओवरपिंगर्स ढूँढना

2020-07-21_05-19.png

AWS Kinesis और Lambda के साथ स्ट्रीमिंग डेटा

अभ्यास करते हैं!

AWS Kinesis और Lambda के साथ स्ट्रीमिंग डेटा

Preparing Video For Download...