प्रदर्शन का मूल्यांकन

Understanding Machine Learning

Hadrien Lacroix

Content Developer at DataCamp

Evaluate चरण

Understanding Machine Learning

Overfitting

  • training डेटा पर बेहतरीन प्रदर्शन
  • testing डेटा पर कमज़ोर प्रदर्शन
  • मॉडल ने training डेटा याद कर लिया, नए डेटा पर generalize नहीं कर पाया
  • मॉडल के performance की जाँच के लिए testing सेट dùng करें
Understanding Machine Learning

Overfitting को दर्शाना

overfitting

Understanding Machine Learning

Accuracy

  • Accuracy = सही वर्गीकृत observations / सभी observations
  • 48 / 50 = 96%

पहले पाठ का linear classifier

Understanding Machine Learning

Accuracy की सीमा: fraud उदाहरण

$$

इस मॉडल की Accuracy:

$$\frac{28\ correctly\ classified}{30\ total\ points}=93.33\%$$

  • अधिकांश fraudulent transactions छूट जाते हैं
  • बेहतर metric चाहिए
Understanding Machine Learning

Confusion matrix

confusion matrix

Understanding Machine Learning

True positives

Understanding Machine Learning

True positives

Understanding Machine Learning

False negatives

Understanding Machine Learning

False negatives

Understanding Machine Learning

False Negatives याद रखें

fp.jpg

Understanding Machine Learning

बाकी भरें...

Understanding Machine Learning

False positives, true negatives

Understanding Machine Learning

False Positives याद रखें

fn2.jpg

Understanding Machine Learning

Sensitivity

हमने कितनी fraudulent transactions सही पहचानीं?

$$Sensitivity = \frac{true\ positives}{true\ positives + false\ negatives} =1/3=33.33\% $$

  • बेहतर है वैध transactions को suspicious चिह्नित करें, बजाय fraudulent transactions को authorize करने के
Understanding Machine Learning

Specificity

$$Specificity = \frac{true\ negatives}{true\ negatives + false\ positives}$$

Spam filter:

  • स्पैम को inbox में भेजना, असली ईमेल को spam फ़ोल्डर में भेजने से बेहतर है
Understanding Machine Learning

Regression का मूल्यांकन

Understanding Machine Learning

Regression का मूल्यांकन

  • Error = बिंदु (actual value) और रेखा (predicted value) के बीच दूरी
  • इसे मापने के कई तरीके. जैसे, root mean square error
Understanding Machine Learning

Unsupervised learning

अपना रास्ता चुनें

1 https://www.flickr.com/photos/micahdowty/8540188997
Understanding Machine Learning

अभ्यास करते हैं!

Understanding Machine Learning

Preparing Video For Download...