Concept drift को कैसे संभालें?

Monitoring Machine Learning Concepts

Hakim Elakhrass

Co-founder and CEO of NannyML

Concept drift detection

Error-आधारित तरीके
- समय के साथ error में बदलाव ट्रैक करना
- ground truth चाहिए

training और production डेटा से नया मॉडल train करें
- predictions में बदलाव ही concept drift है
- एडवांस्ड use-cases में महँगा

Retraining

छवि में दो ग्राफ हैं। पहले ग्राफ में समय के साथ मॉडल accuracy धीरे-धीरे घटती दिखती है। दूसरे में थोड़ी गिरावट के बाद retraining होता है और accuracy बढ़ती है, यह प्रक्रिया अंतराल पर दोहराई जाती है.

Pros:

हाल के patterns से मॉडल अप-टू-डेट रहता है

Cons:

लागत बढ़ती है और failure का जोखिम रहता है
समस्या का root cause नहीं बताता

Online learning

छवि ऑनलाइन लर्निंग का चक्र दिखाती है: ऐप से डेटा डेटाबेस में जाता है और तुरंत मॉडल अपडेट में उपयोग होता है। फिर अपडेटेड मॉडल दोबारा deploy किया जाता है.

Pros:

बदलती स्थितियों के अनुसार real-time में अनुकूलन

Cons:

ground truth की सतत उपलब्धता चाहिए
noise के प्रति संवेदनशील
parameters का सावधानी से tuning चाहिए

अन्य समाधान

बार-बार होने वाली घटनाओं के लिए event-specific मॉडल

नए डेटा की अहमियत को weight करना
- नए डेटा पर अधिक फोकस से मॉडल जल्दी adapt करता है

छवि में टाइमलाइन दिखती है: 23 नवंबर को regular मॉडल deploy होता है, 24 नवंबर को Black Friday मॉडल deploy होता है, फिर regular मॉडल दोबारा deploy होता है.

अभ्यास करते हैं!

Monitoring Machine Learning Concepts