ML मॉडलों की मॉनिटरिंग की चुनौतियाँ

Monitoring Machine Learning Concepts

Hakim Elakhrass

Co-founder and CEO of NannyML

Machine learning प्रोजेक्ट के घटक

तीन वृत्तों वाला एक वेन डायग्राम, जो सॉफ्टवेयर इंजीनियरिंग, डेटा एनालिटिक्स, और मशीन लर्निंग को दर्शाता है; तीनों का संगम डेटा साइंस दर्शाता है.

मॉडल प्रेडिक्शन देने में विफल

संभावित समस्याएँ:

भाषा रुकावटें - अलग प्रोग्रामिंग भाषाओं को "glue" कोड से जोड़ना

कोड मेंटेनेंस - अपडेटेड डिपेंडेंसी की कम्पैटिबिलिटी समस्या

स्केलिंग इश्यू - अधिक यूज़र संभालने के लिए इन्फ्रास्ट्रक्चर मजबूत नहीं

मॉडल की प्रेडिक्शन विफल

Covariate shift

इनपुट के डिस्ट्रीब्यूशन में बदलाव
सांख्यिकीय तरीकों से डिटेक्ट करना संभव
हर ड्रिफ्ट प्रदर्शन को प्रभावित नहीं करती

ट्रेनिंग और प्रोडक्शन सेट में ग्राहकों की उम्र का डेंसिटी डिस्ट्रीब्यूशन. ट्रेनिंग सेट कम उम्र की ओर झुका है, जबकि प्रोडक्शन सेट में अधिक उम्र पर स्पाइक दिखता है.

Concept drift

इनपुट डेटा और टार्गेट्स के संबंध में बदलाव
डिटेक्ट करना कठिन
लगभग हमेशा मॉडल के बिज़नेस इम्पैक्ट को प्रभावित करती है

ट्रेनिंग और प्रोडक्शन दोनों सेट में कस्टमर लाइफटाइम वैल्यू (CLV) और फीचर Age के बीच संबंध है, पर प्रोडक्शन में यह बदल जाता है, जो concept drift का संकेत है.

Ground truth की उपलब्धता

कपड़ों की दुकान की एक तस्वीर.

अभ्यास करते हैं!

Monitoring Machine Learning Concepts