प्रदर्शन आकलन

Monitoring Machine Learning Concepts

Hakim Elakhrass

Co-founder and CEO of NannyML

ओवरव्यू

दो प्रदर्शन आकलन एल्गोरिदम:

  • CBPE - classification टास्क्स
  • DLE - regression टास्क्स
Monitoring Machine Learning Concepts

CBPE - कैसे काम करता है

  • एक confusion matrix का अनुमान लगाता है

 

  • accuracy, precision, recall जैसी classification metrics निकालने देता है

 

  • covariate shift के प्रभाव को मॉडल पर कैप्चर करता है

 

CBPE एल्गोरिदम को एक छवि में दिखाया गया है जो इसके काम करने का तरीका बताती है। पहला मॉडल दिए गए उदाहरण पर प्रेडिक्शन करता है, और उसी से क्लास तय होती है। जैसे, यदि किसी उदाहरण का प्रेडिक्शन 0.9 है, तो मान 0.5 से ऊपर होने पर क्लास पॉज़िटिव होगी। वरना 0.5 से कम होने पर नेगेटिव। यह प्रक्रिया डेटासेट के सभी उदाहरणों पर चलती है, और प्राप्त confidence स्कोर को जोड़कर एक अनुमानित confusion matrix बनती है।

Monitoring Machine Learning Concepts

CBPE - ध्यान रखने योग्य बातें

  • अनदेखे क्षेत्रों में covariate shift नहीं है

 

  • इनकमिंग डेटा में concept drift मौजूद नहीं है

 

  • probability calibration चाहिए
Monitoring Machine Learning Concepts

DLE - कैसे काम करता है

  • मॉडल की absolute error को प्रेडिक्ट करता है

 

  • एक external child मॉडल इस्तेमाल करता है

 

  • MAE, MSE, MSLE जैसी regression metrics निकालने देता है

 

  • इनपुट डेटा में covariate shift की मौजूदगी कैप्चर करता है

यह छवि प्रोडक्शन में regression टास्क के लिए प्रदर्शन आकलन प्रक्रिया बताती है। पहले, analysis डेटा मॉडल में जाता है और प्रेडिक्शन बनते हैं। ये प्रेडिक्शन, analysis डेटा के साथ, child मॉडल को दिए जाते हैं, जो error प्रेडिक्ट करता है। इस error प्रेडिक्शन से अन्य regression metrics निकाली जाती हैं ताकि मॉडल के प्रदर्शन का आकलन हो सके।

Monitoring Machine Learning Concepts

DLE - ध्यान रखने योग्य बातें

  • अनदेखे क्षेत्रों में covariate shift नहीं है

 

  • इनकमिंग डेटा में concept drift मौजूद नहीं है

 

  • अतिरिक्त जटिलता
Monitoring Machine Learning Concepts

अभ्यास करते हैं!

Monitoring Machine Learning Concepts

Preparing Video For Download...