मेट्रिक्स डिज़ाइन और अनुमान

Python में A/B Testing

Moe Lotfy, PhD

Principal Data Science Manager

मेट्रिक्स के प्रकार

प्राइमरी (गोल/नॉर्थ-स्टार):
- बिज़नेस या मिशन की सफलता को सबसे अच्छी तरह बताता है
ग्रैन्युलर मेट्रिक्स:
- यूज़र्स के व्यवहार को सबसे अच्छी तरह समझाते हैं
- ज़्यादा सेंसिटिव और एक्शन योग्य
- साइनअप रेट:
  - = (clicks/visitors) X (signups/clicks)
इंस्ट्रूमेंटेशन/गार्डरेल मेट्रिक्स:
- इस कोर्स के स्कोप से बाहर

नॉर्थ-स्टार मेट्रिक का चित्रण

बार चार्ट और लाइन प्लॉट मेट्रिक्स का चित्रण

मेट्रिक्स के प्रकार

मात्रात्मक वर्गीकरण

मीन/परसेंटाइल्स: average sales, median time on page
प्रोपोर्शन:
- साइनअप रेट: signups/total visitors
- पेज एबैंडनमेंट रेट: page abandoners/total visitors
रेशियो:
- Click-through-rate (CTR): clicks/page visits या clicks/ad impressions
- रेवेन्यू प्रति सेशन
मेट्रिक्स मिलाकर व्यापक सफलता/विफलता के मानदंड बनाए जा सकते हैं

मेट्रिक्स की आवश्यकताएँ

गैर-ज़रूरी अंतर के प्रति स्थिर/रोबस्ट
महत्वपूर्ण बदलावों के प्रति सेंसिटिव
लॉगिंग सीमाओं के भीतर मे़जरेबल
नॉन-गेमेबल
- चमकदार रंग
- पेज पर बिताया समय

अतिरिक्त जोरदार कॉल-टू-एक्शन

Python में मेट्रिक्स का अनुमान

checkout.groupby('gender')['purchased'].mean()

gender
F    0.908056
M    0.780009
Name: purchased, dtype: float64

checkout[(checkout['browser']=='chrome')|(checkout['browser']=='safari')]\
    .groupby('gender')['order_value'].mean()

gender
F    29.814161
M    30.383431
Name: order_value, dtype: float64

Python में मेट्रिक्स का अनुमान

checkout.groupby('browser')[['order_value', 'purchased']].mean()

         order_value  purchased
browser                        
chrome     30.016625   0.839088
firefox    29.887491   0.851725
safari     30.119808   0.844337

अभ्यास करते हैं!

Python में A/B Testing