Machine learning के जोखिम

बिज़नेस के लिए मशीन लर्निंग

Karolis Urbonas

Head of Machine Learning & Science, Amazon

खराब प्रदर्शन

कुछ मॉडल खराब प्रदर्शन करते हैं (सुनिश्चित करें कि आप training नहीं, test प्रदर्शन की समीक्षा करें):

कम precision
कम recall
बड़ा error

Low precision

Low precision - रुचि वाले class में कई items गलत वर्गीकृत = बहुत सारे false positives

उदाहरण - खरीदी की संभावना वाले के रूप में पहचाने गए ग्राहकों में से केवल 10% ने वास्तव में उत्पाद खरीदा

Low recall

Low recall - रुचि वाले class की कुल observations में से केवल एक छोटा हिस्सा मॉडल ने सही पकड़ा (recalled)

उदाहरण - सभी fraudulent transactions में से सिर्फ 25% को मॉडल ने पहचाना

Large error

Large error - अनुमानित और वास्तविक मानों में बड़े अंतर

उदाहरण - customer satisfaction rating के prediction में औसत error 3.5 units है या प्रतिशत में 70%

Non-actionable model use cases

Q: मॉडलों को सही तरह से कैसे test करें?

A: उनकी performance validate करने के लिए tests/experiments चलाएँ, जैसे churn prevention emails, product promotions, manual machine maintenance, manual transaction review

A/B testing

abtest

अगर tests काम न करें तो?

अधिक डेटा लाएँ - बिज़नेस की भागीदारी जरूरी
ड्राइवर्स समझने के लिए causal models बनाएँ
गुणात्मक शोध चलाएँ (surveys आदि)
समस्या का scope बदलें
- संकीर्ण करें
- व्यापक करें
- अलग सवाल पूछें

अभ्यास करते हैं!

बिज़नेस के लिए मशीन लर्निंग