स्ट्रीमिंग क्या है और यह क्यों मायने रखती है?

AWS Kinesis और Lambda के साथ स्ट्रीमिंग डेटा

Maksim Pecherskiy

Data Engineer

बैच बनाम स्ट्रीम

बैच

~~"बेहतर"~~
बड़े डेटासेट
अधिक जटिल विश्लेषण
धीमे चलने वाला डेटा
उदाहर.: दैनिक बिक्री रिपोर्ट
उदाहर.: अगले महीने की बिक्री का पूर्वानुमान
उदाहर.: चर्न प्रेडिक्शन

स्ट्रीम

~~"अधिक कूल"~~
सरल विश्लेषण: एग्रीगेशन/फिल्टरिंग
व्यक्तिगत रिकॉर्ड/माइक्रो बैचेज़
डेटा बहुत FAST चलता है
उदाहर.: फ्रॉड डिटेक्शन
उदाहर.: विंड टर्बाइन मॉनिटरिंग
उदाहर.: रियल-टाइम अलर्टिंग

कोडी और फ्लीट

कोडी

अपनी बाइक के पास कोडी

फ्लीट

वाहनों का एक कोलाज

टेलीमैटिक्स स्ट्रीमिंग

AWS Kinesis

Data Firehose

डिलीवरी स्ट्रीम्स

Firehose क्लाइंट बनाना

import boto3

firehose = boto3.client('firehose',

                        aws_access_key_id=AWS_KEY_ID, 
                        aws_secret_access_key=AWS_SECRET,

                        region_name='us-east-1')

डिलीवरी स्ट्रीम्स के साथ काम करें

# Show created delivery streams
response = firehose.list_delivery_streams()

print(response['DeliveryStreamNames'])

['old-delivery-stream1', 'a-test-stream']

स्ट्रीम्स हटाएँ

# Show created delivery streams
response = firehose.list_delivery_streams()

# Delete them all!
for stream_name in response['DeliveryStreamNames']:

      firehose.delete_delivery_stream(DeliveryStreamName=stream_name)

रीव्यू

बैच बनाम स्ट्रीम
कोडी और टेलीमैटिक्स कलेक्शन
AWS Kinesis
Kinesis Firehose डिलीवरी स्ट्रीम्स
AWS Kinesis Data Firehose
Firehose डिलीवरी स्ट्रीम्स लिस्ट और डिलीट करें
Producer -> डेटा जनरेटर
Destination -> जहाँ डेटा जा रहा है

अभ्यास करते हैं!

AWS Kinesis और Lambda के साथ स्ट्रीमिंग डेटा