स्ट्रीमिंग सिस्टम का वर्टिकल स्केलिंग

स्ट्रीमिंग कॉन्सेप्ट्स

Mike Metzger

Data Engineer

स्केल क्यों करें?

• उसी डेटा को कम समय में प्रोसेस करें
• उतने ही समय में ज्यादा डेटा प्रोसेस करें
• डेटा तेज़ी से डिलीवर करें (लेटेंसी घटाएँ)
• गारंटी (SLAs) पूरी करें

वर्टिकल स्केलिंग

• एक सिंगल सिस्टम की क्षमताएँ बढ़ाएँ
• तेज़ / बेहतर कॉम्पोनेंट्स
  • CPU, RAM, Disk, Network
• ये सभी स्ट्रीमिंग परफॉर्मेंस को प्रभावित कर सकते हैं

तेज़ CPU / GPU परफॉर्मेंस

• तेज़ execution
• बेहतर execution
  • नए/बेहतर instruction sets
• GPU प्रोसेसिंग
  • Machine learning
  • Deep learning
  • इमेज प्रोसेसिंग
  • मैट्रिक्स ऑपरेशंस

इसका स्ट्रीमिंग पर क्या असर पड़ता है?

• स्ट्रीमिंग प्रोसेस पूरा होने तक रुकते नहीं
• अलग आइटम पाइपलाइन के अलग हिस्सों में हो सकते हैं, पर कुल क्षमता सिस्टम परफॉर्मेंस से सीमित रहती है
• वर्कलोड के अनुसार कुछ कॉम्पोनेंट्स का अधिक असर होता है
• Benchmark / test करें!

अभ्यास करते हैं!

स्ट्रीमिंग कॉन्सेप्ट्स