मॉडल प्रदर्शन मापन

बिज़नेस के लिए मशीन लर्निंग

Karolis Urbonas

Head of Machine Learning & Science, Amazon

प्रदर्शन मापन के प्रकार

दो प्रमुख सुपरवाइज्ड लर्निंग मेट्रिक:

Accuracy --> classification
Error --> regression

Classification प्रदर्शन

Accuracy
Recall
Precision

Churn उदाहरण

Churn prediction

गलत वर्गीकृत आइटम

एक और churn prediction

Accuracy

acc

Precision

precision

Recall

recall

Regression प्रदर्शन

Error

Regression उदाहरण

लिनियर लाइन से revenue प्रेडिक्ट करना

Regression error

नॉन-लिनियर मॉडल टेस्ट करना

Error में सुधार

Actionable मॉडल - A/B testing

अच्छे मॉडल हमेशा actionable नहीं होते:

Churn prediction, purchase prediction, machine failure prediction

जाँचें कि मॉडल इस्तेमाल करने से outcomes सुधरते हैं या नहीं:

churn के लिए चुने ग्राहकों को incentives दें (discounts, coupons, promotions)

खरीद की अधिक संभावना वाले ग्राहकों को reminder ईमेल और product details भेजें

क्या इससे churn घटा, purchase rate बढ़ा और machine failures कम हुए? अगर yes, इसे automated process में जोड़ें. अगर no, और डेटा जुटाएँ, मॉडल सुधारें, और फिर टेस्ट करें.

अभ्यास करते हैं!

बिज़नेस के लिए मशीन लर्निंग