आदर्श मॉनिटरिंग वर्कफ़्लो

Monitoring Machine Learning Concepts

Hakim Elakhrass

Co-founder and CEO of NannyML

मॉनिटरिंग वर्कफ़्लोज़

पारंपरिक मॉनिटरिंग वर्कफ़्लो

आदर्श मॉनिटरिंग वर्कफ़्लो

आदर्श मॉनिटरिंग वर्कफ़्लो: पहले परफॉर्मेंस मॉनिटरिंग, गिरावट होने पर रूट कॉज़ एनालिसिस, और अंत में समस्या का समाधान.

शामिल हैं:

समय के साथ accuracy का प्लॉट, जहाँ accuracy घटकर थ्रेशहोल्ड से नीचे चली जाती है.

समय के साथ KPIs का प्लॉट, जहाँ KPIs दिए गए थ्रेशहोल्ड्स के भीतर बने रहते हैं.

लक्ष्य है जाँच करना:

वर्किंग मॉडल में नीले और लाल सर्कल्स के बीच डिसीज़न बाउंड्री का प्लॉट.

प्लॉट दिखाता है कि नीले सर्कल्स डिसीज़न बाउंड्री पार कर रहे हैं, जो covariate shift दर्शाता है.

प्लॉट में डिसीज़न बाउंड्री बदलती दिखती है, जो concept drift दर्शाती है.

संभावित समाधान:

इमेज में एक डिजिटल ब्रेन (मशीन लर्निंग मॉडल) और डेटाबेस के साथ प्लस साइन है, जो अधिक डेटा से मॉडल को रिट्रेन करने को दर्शाता है.

इमेज में ड्रॉइंग बोर्ड पर फीचर इंजीनियरिंग, उपयोग किए फीचर्स और लीनियर रिग्रेशन से जुड़े सवाल हैं.

इमेज में एक वर्कर कंप्यूटर पर मैन्युअली कुछ वेरिफ़ाई कर रहा है.

Monitoring Machine Learning Concepts