तकनीकी परफ़ॉर्मेंस की सीधी मॉनिटरिंग

Monitoring Machine Learning Concepts

Hakim Elakhrass

Co-founder and CEO of NannyML

Covariate shift - परफ़ॉर्मेंस संबंध

तीन covariate shifts:

कुछ क्षेत्रों की ओर शिफ्ट
- ज़्यादा उच्च-आय वाले लोग लोन के लिए अप्लाई कर रहे हैं
कम-प्रतिनिधित्व वाले क्षेत्रों की ओर शिफ्ट
- ट्रेनिंग डेटा में 0.5% की जगह 10% टेक लोग लोन के लिए अप्लाई कर रहे हैं
कम-निश्चयता वाले क्षेत्रों की ओर शिफ्ट
- निर्णय सीमा के पास मध्यम-आय वालों का 20% से 40% तक शिफ्ट

-> कोई प्रभाव नहीं

-> अज्ञात प्रभाव

-> नकारात्मक प्रभाव

नकारात्मक प्रभाव की गारंटी

अनिश्चित क्षेत्रों की ओर covariate shift हमेशा परफ़ॉर्मेंस को नकारात्मक रूप से प्रभावित करता है

विज़ुअलाइज़ेशन में ट्रेनिंग अवधि वह क्षेत्र दिखाती है जहाँ मॉडल की निश्चयता सबसे कम है. प्रोडक्शन में, पहले से अधिक लोग इसी क्षेत्र में आ रहे हैं.

फ़ॉल्स अलर्ट्स की समस्या

चित्र में डॉट्स अलर्ट्स को दर्शाते हैं, और बहुत अधिक डॉट्स होने पर महत्वपूर्ण डॉट्स कैसे खो सकते हैं, यह दिखता है

तकनीकी परफ़ॉर्मेंस का महत्व

मॉडल मौजूदा कार्य कितना अच्छा कर रहा है, इसका डायरेक्ट मैट्रिक

किसी भी साइलेंट मॉडल फ़ेल्योर को दर्शाता है

फ़ॉल्स अलर्ट्स की भीड़ घटाता है

चित्र मॉनिटरिंग डायग्राम का एक हिस्सा दिखाता है: पहले बॉक्स में Performance monitoring, उसके नीचे डॉटेड लाइन से जुड़ा डॉटेड बॉक्स पूछता है "is models is still performing", दाएँ एक डायमंड "performance degradation", फिर दाएँ तीर पर ऊपर "yes", और एक तीर वापस performance monitoring बॉक्स की ओर, ऊपर "no".

अभ्यास करते हैं!

Monitoring Machine Learning Concepts