स्ट्रीमिंग में रुकावटें
स्ट्रीमिंग कॉन्सेप्ट्स
Mike Metzger
Data Engineer
स्केलिंग समीक्षा
वर्टिकल स्केलिंग - compute resources
- CPU
- RAM
- Disk (capacity और IO)
- Network
हॉरिजॉन्टल स्केलिंग - अधिक nodes
- Machines को nodes / workers की तरह जोड़ें
प्रारंभिक चिंताएँ
- Compute resources
- अपर्याप्त या धीमे resources
- More nodes
- अधिक कनेक्टिविटी आवश्यक
- किसी न किसी रूप में shared resources
- बढ़ी हुई complexity
- प्रायः किसी प्रकार का cluster management
कम्युनिकेशन इश्यूज़
मैसेजिंग समस्याओं के प्रकार:
- Missing messages
- Delayed messages
- Out of order messages
- Repeat messages
Missing messages
- ऐसे events का प्रतिनिधित्व जो कभी आते ही नहीं
- पता लगाना कठिन हो सकता है
- कभी-कभी sequence identifier से संभाला जाता है
- Missing messages माँगने पर आगे की responses देरी का शिकार हो सकती हैं
Delayed messages
- Missing messages जैसा ही
- देरी के कारण प्रोसेसिंग पाइपलाइन में समस्याएँ ला सकता है
- अक्सर system resource issues से जुड़ा होता है
Out of order messages
- Missing/Delayed messages का संयोजन
- तब होता है जब पुराना message नए के बाद आता है
- पता लगाने को किसी sequence या state की जरूरत
- हैंडलिंग इस पर निर्भर कि कौन-सी data process चल रही है
Repeat messages
- होता है जब वही message कई बार भेजा जाता है या systems issues से फिर भेजा जाता है
- पूरी तरह बचने को sequence handling चाहिए, पर कभी-कभी नज़रअंदाज़ करना सुरक्षित
- कभी-कभी समस्या नहीं होती (जैसे temperature measurement)
अभ्यास करते हैं!
स्ट्रीमिंग कॉन्सेप्ट्स
