बैच संबंधी समस्याएँ
स्ट्रीमिंग कॉन्सेप्ट्स
Mike Metzger
Data Engineer
देरी
- प्रोसेस करने के लिए डेटा तैयार होने तक का समय
- क्या सारा डेटा उपलब्ध है?
- प्रोसेस शुरू होने तक का समय
- अगला इंटरवल कब शुरू होता है?
- डेटा प्रोसेस करने का समय
- पूरा होने में कितना समय लगेगा?
- प्रोसेस्ड डेटा उपयोग के लिए उपलब्ध होने तक का समय
- यूज़र्स डेटा कब तक इस्तेमाल कर पाएँगे?
उदाहरण #1
सोर्स डेटा का इंतज़ार
- मशीनें कम उपयोग के समय लॉग फाइलें भेजती हैं
- सामान्य उपयोग में ठीक चलता है
- उच्च उपयोग में लॉग भेजने की क्षमता घटती है, जिससे समस्याएँ छिप सकती हैं।
उदाहरण #2
प्रोसेस का इंतज़ार
- प्रति दिन 100GB लॉग फाइलें
- अभी प्रोसेस में 23 घंटे लगते हैं
- लगभग 4.4GB/घंटा
- प्रति माह 5% की वृद्धि
- अगले महीने 105GB और ~24 घंटे लगेंगे
- उसके अगले महीने ~110GB और ~25 घंटे लगेंगे
- एक दिन के डेटा को प्रोसेस करने में एक दिन से ज्यादा लगता है!
उदाहरण #3
डेटा उपलब्ध होने का इंतज़ार
- एनालिटिक्स कब उपलब्ध होंगे?
- सेल्स रिपोर्ट को सारी जानकारी बनने तक रुकना होगा
- देरी का योग नई रिपोर्ट बनाने का न्यूनतम समय है
- डेटा इकट्ठा/तैयार करने का समय: 1 दिन
- डेटा प्रोसेस करने का समय: 7 घंटे
- सिस्टम अपडेट करने का समय: 5 घंटे
- रिपोर्ट जेनरेट करने का समय: 2 मिनट
- हर रिपोर्ट का कुल समय: 1.5 दिन
अभ्यास करते हैं!
स्ट्रीमिंग कॉन्सेप्ट्स
