मॉडल मेट्रिक्स

Marketing Analytics: Python में Customer Churn की भविष्यवाणी

Mark Peterson

Director of Data Science, Infoblox

असंतुलित क्लासेस

telco['Churn'].value_counts()

no     2850
yes     483
Name: Churn, dtype: int64

• Accuracy बहुत उपयोगी मेट्रिक नहीं है

प्रिसीजन

Metric	Formula
Precision	True Positives / (True Positives + False Positives)

 

• High precision वाला मॉडल दर्शाता है:
  • कम false positives ("false alarms")
  • बहुत से non-churners को churner के रूप में वर्गीकृत नहीं किया गया

रिकॉल

Metric	Formula
Recall/Sensitivity	True Positives / (True Positives + False Negatives)

 

• High recall बताता है कि मॉडल ने अधिकांश churners को सही पहचाना

प्रिसीजन बनाम रिकॉल

scikit-learn में कन्फ्यूजन मैट्रिक्स

from sklearn.metrics import confusion_matrix

cm = confusion_matrix(y_test, y_pred)

अभ्यास करते हैं!

Marketing Analytics: Python में Customer Churn की भविष्यवाणी