A/B Testing के सर्वोत्तम अभ्यास और उन्नत विषय: परिचय

Python में A/B Testing

Moe Lotfy, PhD

Principal Data Science Manager

Best practices

झाँकने से बचें

निर्धारित sample size पूरा होने से पहले परिणाम देखकर निर्णय न लें. इससे error rates कई comparisons जैसे बढ़ जाते हैं.

सप्ताह के दिनों के प्रभाव का ध्यान रखें

वीकेंड बनाम वीकडे पर उपयोगकर्ता अलग व्यवहार कर सकते हैं, इसलिए समग्र व्यवहार शामिल करें.

सरलता/व्यवहार्यता:
- क्या हमें पूरा feature बनाना ज़रूरी है?
- Painted door tests
अलगाव
- प्रभाव को जोड़ने के लिए एक समय में एक ही वैरिएबल बदलें.

मल्टिफैक्टोरियल डिज़ाइन और interaction effects
- हर वैरिएबल का अलग-थलग प्रभाव नापता है
- interaction/सिनर्जिस्टिक प्रभाव उजागर करता है
Bayesian A/B testing
- पहले के डेटा को मौजूदा प्रयोग में शामिल करता है
- population parameters को distributions के रूप में देखता है
- परिणामों की अधिक सहज समझ देता है
SUTVA उल्लंघन और network effects
- एक उपयोगकर्ता की assignment दूसरों को प्रभावित करती है
- सोशल नेटवर्क के A/B tests में आम
- एक समाधान: clusters के आधार पर assignment

Python में A/B Testing