प्रदर्शन ट्रैक करना

Decision Science समझना

Akshay Swaminathan

PD Soros Fellow at Stanford University School of Medicine

मॉडल प्रदर्शन

अलग मॉडल, अलग खूबियाँ

  • एक मॉडल बेहतर बताता है कि कौन डिफ़ॉल्ट कर सकता है
  • दूसरा अनुमान लगाने में बेहतर है कि डिफ़ॉल्ट कितना हो सकता है

  scales.png

कौन सा मॉडल बेहतर है? लक्ष्य पर निर्भर करता है

  • क्या आप जोखिम वाले ग्राहकों को फ़्लैग करना ज़्यादा मायने रखते हैं
  • या डिफ़ॉल्ट के वित्तीय असर का अनुमान लगाना
Decision Science समझना

मॉडल मेट्रिक

अलग-अलग मेट्रिक प्रदर्शन के अलग पहलू उजागर करते हैं

आम तौर पर इस्तेमाल होने वाले मूल्यांकन मेट्रिक:

  • Accuracy
  • Precision
  • Recall
  • F1-Score
  • Area Under the Curve (AUC)
  • Mean Absolute Error (MAE)
  • Mean Absolute Percent Error (MAPE)

  dashboard.png

Decision Science समझना

Accuracy

 

सही होने का व्यापक नज़रिया

  • सभी प्रेडिक्शन में से सही का प्रतिशत मापता है
  • जब क्लास बैलेंस्ड हों, जैसे spam बनाम not spam, तब अच्छा काम करता है

acc.png

Precision

 

प्रेडिक्टेड पॉज़िटिव में से कितने सच में सही हैं

  • जब फ़ॉल्स पॉज़िटिव महँगे हों तो महत्वपूर्ण
  • लो प्रिसीजन = कई वैध ट्रांज़ैक्शन को fraudulent फ़्लैग करना

precision.png

Decision Science समझना

और मेट्रिक

Recall: सच्चे पॉज़िटिव पकड़ें

  • मॉडल वास्तविक पॉज़िटिव कितनी अच्छी तरह ढूँढता है, यह मापता है
  • जब केस छूटना महँगा हो (जैसे फ्रॉड, बीमारी) तब अहम

Area under the curve (AUC): क्लास अलगाव का माप

  • मॉडल क्लासों को कितना अलग कर पाता है, इसका आकलन करता है
  • किसी एक थ्रेशोल्ड से बँधा नहीं है

Regression मेट्रिक: प्रेडिक्शन एरर मापना

  • Mean Absolute Error (MAE): एरर के औसत आकार
  • Mean Percentage Error (MPE): प्रतिशत के रूप में प्रेडिक्शन कितने चूके

 

moremetrics.png

Decision Science समझना

डैशबोर्ड क्यों महत्वपूर्ण हैं

डैशबोर्ड जटिल विश्लेषण को स्पष्ट, उपयोगी इनसाइट में बदलते हैं, जिससे निर्णय लेना आसान होता है।

 

dahsboard2.gif

Decision Science समझना

बुनियादी सिद्धांत

 

अपने ऑडियंस को जानें

  • एग्जीक्यूटिव्स को सार चाहिए
  • एनालिस्ट्स को विवरण चाहिए

 

मुख्य मेट्रिक हाइलाइट करें

  • केवल सबसे ज़रूरी चीज़ें दिखाएँ
  • क्लटर और नॉइज़ से बचें

 

साफ़ विज़ुअलाइज़ेशन इस्तेमाल करें

  • तुलना के लिए बार चार्ट, समय के ट्रेंड के लिए लाइन चार्ट
  • सरल विज़ुअल अक्सर बेहतर होते हैं

  clear.png

Decision Science समझना

और सिद्धांत

समय के साथ बदलाव ट्रैक करें

  • मॉडल प्रदर्शन और फीचर ड्रिफ्ट मॉनिटर करें
  • ट्रेंड मेट्रिक को संदर्भ देते हैं

सिर्फ़ नंबर नहीं, संदर्भ जोड़ें

  • मुख्य बदलाव समझाने के लिए छोटे नोट्स दें
  • यूज़र को क्या और क्यों हो रहा है, समझने में मदद करें

टेस्ट करें और दोहराएँ

  • शुरुआती वर्ज़न साझा करें और फ़ीडबैक लें
  • मॉडल और ज़रूरतें बदलें तो डैशबोर्ड अपडेट करें

iterate.png

Decision Science समझना

अभ्यास करते हैं!

Decision Science समझना

Preparing Video For Download...