स्ट्रीमिंग डेटा केस स्टडी

AWS Kinesis और Lambda के साथ स्ट्रीमिंग डेटा

Maksim Pecherskiy

Data Engineer

इस अध्याय में

  • इनकमिंग डेटा Firehose को भेजें
  • डेटा स्टोर करें
  • डेटा विज़ुअलाइज़ करें
  • रियल-टाइम अलर्ट सेट करें
  • स्ट्रीम मॉनिटर करें
  • आवश्यकताओं का सेट पूरा करें
AWS Kinesis और Lambda के साथ स्ट्रीमिंग डेटा

2020-08-11_18-31.png

AWS Kinesis और Lambda के साथ स्ट्रीमिंग डेटा

आवश्यकताएँ

  • Tweets में #sandiego हैशटैग होना चाहिए
  • Tweets रियल-टाइम में आने चाहिए
  • Tweets में sentiment एन्हांसमेंट होना चाहिए
  • पिछले 15 मिनट का डेटा विज़ुअलाइज़ करें
  • 5 मिनट में >3 नेगेटिव ट्वीट्स हों तो मैनेजर को सूचित करें
  • स्ट्रीम को डाउनटाइम में डेटा लॉस कम रखना चाहिए
  • डेटा बाद में विश्लेषण के लिए बना रहना चाहिए
AWS Kinesis और Lambda के साथ स्ट्रीमिंग डेटा

Tweets रियल-टाइम में आते हैं

2020-08-02_08-38.png

AWS Kinesis और Lambda के साथ स्ट्रीमिंग डेटा

Sentiment से समृद्ध

AWS Kinesis और Lambda के साथ स्ट्रीमिंग डेटा

बाद के विश्लेषण के लिए डेटा बना रहना चाहिए

2020-08-02_08-42.png

AWS Kinesis और Lambda के साथ स्ट्रीमिंग डेटा

आखिरी 15 मिनट विज़ुअलाइज़ करें

2020-08-11_18-44.png

AWS Kinesis और Lambda के साथ स्ट्रीमिंग डेटा

Redshift बनाम Elasticsearch

Redshift

  • साफ टेबल्स में डेटा स्टोर करने के लिए डिज़ाइन किया गया
  • स्कीमा डेटाबेस में परिभाषित होता है
  • क्वेरी के लिए SQL
  • Tableau जैसे BI टूल्स के साथ बढ़िया काम करता है

Elasticsearch

  • स्कीमा-लेस - लॉग्स और टेक्स्ट के लिए अच्छा
  • स्कीमा क्वेरी के दौरान बनता है
  • क्वेरी के लिए अपनी भाषा उपयोग करता है
  • अपनी UI - Kibana है
AWS Kinesis और Lambda के साथ स्ट्रीमिंग डेटा

अभ्यास करते हैं!

AWS Kinesis और Lambda के साथ स्ट्रीमिंग डेटा

Preparing Video For Download...