मॉडल परफॉर्मेंस का मूल्यांकन

Marketing Analytics: Python में Customer Churn की भविष्यवाणी

Mark Peterson

Director of Data Science, Infoblox

Accuracy

  • एक संभावित मेट्रिक: Accuracy
    • Total Number of Correct Predictions / Total Number of Data Points
  • कौन-सा डेटा उपयोग करें?
    • ट्रेनिंग डेटा नया डेटा दर्शा नहीं सकता
Marketing Analytics: Python में Customer Churn की भविष्यवाणी

Training और Test Sets

  • अपने classifier को ट्रेनिंग सेट पर fit करें
  • टेस्ट सेट से predictions बनाएं
Marketing Analytics: Python में Customer Churn की भविष्यवाणी

scikit-learn से Training और Test Sets

from sklearn.model_selection import train_test_split

X_train, X_test, y_train, y_test = train_test_split(telco['data'], telco['target'], test_size=0.2, random_state = 42)
from sklearn.svm import SVC svc = SVC() svc.fit(X_train, y_train) svc.predict(X_test)
Marketing Analytics: Python में Customer Churn की भविष्यवाणी

Accuracy निकालना

svc.score(X_test, y_test)
0.857
  • 85.7% accuracy: पहली कोशिश के लिए काफ़ी अच्छा!
Marketing Analytics: Python में Customer Churn की भविष्यवाणी

अपने मॉडल को बेहतर करें

  • Overfitting: मॉडल ट्रेनिंग डेटा पर ज़रूरत से ज़्यादा fit हो जाता है
  • Underfitting: ट्रेनिंग डेटा के ट्रेंड नहीं पकड़ता
  • Overfitting और underfitting के बीच सही संतुलन चाहिए
Marketing Analytics: Python में Customer Churn की भविष्यवाणी

अभ्यास करते हैं!

Marketing Analytics: Python में Customer Churn की भविष्यवाणी

Preparing Video For Download...