लोकप्रिय स्ट्रीमिंग सिस्टम

स्ट्रीमिंग कॉन्सेप्ट्स

Mike Metzger

Data engineer

स्ट्रीमिंग टूल

• ज़रूरत के अनुसार कई टूल उपलब्ध
• डिज़ाइनर्स को काम के लिए सही टूल चुनने में मदद
• आम सिस्टम हैं:
  • Celery
  • Kafka
  • Spark Streaming

Celery

• Distributed task queue / FIFO
• मुख्यतः job या task queue के रूप में उपयोग
• अक्सर asynchronous tasks के लिए
  • पासवर्ड रीसेट ईमेल भेजना
  • डिजिटल ऑर्डर पूरा करना
  • इमेज का आकार बदलना
• बड़ी संख्या में संदेशों का real-time processing संभव
• मैनेजमेंट और स्केलिंग (वर्टिकल व हॉरिजॉन्टल) की सुविधा

Apache Kafka

• Distributed event streaming सिस्टम
• producers और consumers के बीच events भेजने के लिए डिज़ाइन
  • Producers किसी topic पर events बनाते हैं
  • Topics मूलतः तय फ़ॉर्म के messages होते हैं
  • Consumers नए events प्राप्त करते हैं

• अलग-अलग consumers जरूरत अनुसार events हैंडल कर सकते हैं (लॉगिंग, ट्रांसफॉर्मेशन, रिलेइंग, आदि)
• events का स्टोरेज निर्देशानुसार संभालता है
• बेहद powerful, पर set up करना पेचीदा हो सकता है

Kafka के उपयोग

• कई सिस्टमों के बीच डेटा पास करने के लिए श्रेष्ठ
  • Single source of truth
  • Change data capture
  • डेटा backups
  • डेटा सिस्टम migrations

Spark streaming

• Apache Spark का हिस्सा
• streaming डेटा प्रोसेस करने के लिए डिज़ाइन
• Spark की क्षमताओं पर आधारित; Scala, Python, SQL आदि में प्रोसेसिंग
• बड़े पैमाने के डेटा और machine learning परिदृश्यों में उपयोगी
• batch से stream प्रोसेसिंग में बदलना काफ़ी आसान
• events स्टोर या लॉग करने के लिए नहीं, मुख्यतः डेटा process या modify करने के लिए

अभ्यास करते हैं!

स्ट्रीमिंग कॉन्सेप्ट्स