स्ट्रीमिंग सिस्टम्स का हॉरिज़ॉन्टल स्केलिंग

स्ट्रीमिंग कॉन्सेप्ट्स

Mike Metzger

Data Engineer

हॉरिज़ॉन्टल स्केलिंग: त्वरित पुनरावलोकन

• "up" के बजाय "out" करके स्केल करें
• आम तौर पर तेज़/बेहतर की जगह ज़्यादा जोड़कर प्रोसेसिंग क्षमता बढ़ाते हैं
• embarrassingly parallel स्थितियों में सबसे अच्छा काम करता है
  • ऐसे टास्क जिन्हें आसानी से बाँटा जा सके
  • जैसे, गैर-निर्भर images के बड़े समूह को प्रोसेस करना

स्ट्रीमिंग के साथ हॉरिज़ॉन्टल स्केलिंग

• स्ट्रीमिंग डेटा प्रोसेसिंग में आम तौर पर बहुत कम डिले होता है
• वर्कर्स के बीच डेटा ट्रांसफर जटिल हो सकता है
• बेहतर है कि पूरा स्ट्रीम एक सिंगल पाइपलाइन में प्रोसेस हो
• पाइपलाइनों की कॉपी बनाएँ

पाइपलाइन कॉपीज़

• इवेंट होते ही वे पहले किसी पाइपलाइन में प्रवेश करते हैं
• उस प्रोसेस से जुड़े सभी टास्क पाइपलाइन के भीतर ही पूर्ण होते हैं
• स्केल करने के लिए और पाइपलाइन जोड़ें
• एक पाइपलाइन के भीतर वर्टिकल स्केलिंग भी कर सकते हैं

अतिरिक्त विचार

• अन्य कॉम्पोनेंट्स की ज़रूरत हो सकती है
• Load balancer / director
  • कार्ड डीलर
  • सबसे कम व्यस्त नोड
• अंततः बॉटलनेक्स आएँगे
  • डिस्क राइट परफॉर्मेंस
• स्ट्रीमिंग पाइपलाइन को छोटा करने पर विचार करें
  • डेटा को तुरंत प्रोसेस करने की ज़रूरत हटाएँ

अभ्यास करते हैं!

स्ट्रीमिंग कॉन्सेप्ट्स