Sanity checks: external validity

Python में A/B Testing

Moe Lotfy, PhD

Principal Data Science Manager

Simpson's paradox

Simpson's Paradox: एक सांख्यिकीय घटना जहाँ जनसंख्या को सेगमेंट में बाँटने पर वैरिएबल्स के बीच रुझान उभर सकते हैं, गायब हो सकते हैं, या उलट सकते हैं।

print(simp_imbalanced.groupby('Variant').mean())

Variant     Conversion
A              0.80
B              0.64

print(simp_imbalanced.groupby(['Variant','Device']).mean())

Variant Device   Conversion
A       Phone        0.875
        Tablet       0.500
B       Phone        0.900
        Tablet       0.575

Simpson's paradox

simp_imbalanced.groupby(['Variant','Device'])\
                            ['Device'].count()

Variant  Device
A        Phone     40
         Tablet    10
B        Phone     10
         Tablet    40

Simpson's paradox का उदाहरण तालिका

Simpson's paradox

simp_balanced.groupby(['Variant','Device'])\
                        ['Device'].count()

Variant  Device
A        Phone     40
         Tablet    10
B        Phone     40
         Tablet    10

print(simp_balanced.groupby('Variant').mean())

Variant     Conversion
A              0.70
B              0.52

print(simp_balanced.groupby(['Variant','Device']).mean())

Variant Device     Conversion
A       Phone        0.750
        Tablet       0.500
B       Phone        0.575
        Tablet       0.300

Novelty effect

Novelty effect
- किसी नए फीचर के प्रति उत्सुकता से मीट्रिक में अल्पकालिक सुधार।
Change aversion
- novelty effect का उलटा।
- पुराने फीचर की आदत के कारण उपयोगकर्ता नया फीचर आज़माने से बचते हैं।

Novelty effect: दृश्य जाँच

# Plot Lift in CTR vs test days
novelty.plot('date', 'CTR_lift')
plt.ylim([0, 0.09])
plt.title('Lift in CTR vs Test Duration')
plt.show()

CTR बनाम प्रयोग दिनों की लाइन प्लॉट से novelty effect का विज़ुअल डेमो

Novelty effects को सही करना

टेस्ट की अवधि बढ़ाएँ
- ट्रीटमेंट इफेक्ट स्थिर होने के बाद का डेटा शामिल करना शुरू करें।
नए और लौटकर आने वाले यूज़र कोहॉर्ट जाँचें
- नए यूज़र में novelty effects की संभावना कम होती है।
- पुराने यूज़र अपनी पिछली अनुभूति से तुलना करते हैं।

अभ्यास करते हैं!

Python में A/B Testing