A/B परीक्षण में विचार

R में A/B Testing

Lauryn Burleigh

Data Scientist

A/B टेस्ट विचार

केवल A/B तभी करें जब...

A/B टेस्ट में ध्यान देने योग्य बातें

सटीकता के लिए पूरी आबादी का प्रतिनिधि सैंपल चाहिए
उतार-चढ़ाव परिणामों को प्रभावित करते हैं
- सब्जेक्ट्स में बदलाव
- सप्ताह का दिन
- छुट्टियाँ
- सार्वजनिक धारणा

लाइन प्लॉट: लौटने वाले यूज़र्स पहले घटते, फिर लौटते; नए यूज़र्स बढ़ते हुए।

सर्दियों की छुट्टियों में बिक्री बढ़ती है।

सेल के दौरान बिक्री बढ़ती है, बाहर घटती है।

normaldist <- rnorm(10000) 
datasample <- sample(normaldist, 10)
ggplot() + 
    aes(datasample) +
    geom_histogram(bins = 8)

10 डेटा पॉइंट्स का हिस्टोग्राम, पूरी x-अक्ष पर फैलाव।

10 डेटा पॉइंट्स का हिस्टोग्राम, x-अक्ष की शुरुआत, बीच और अंत पर बार्स।

10 डेटा पॉइंट्स का हिस्टोग्राम, ज़्यादातर बार्स x-अक्ष के बीच में।

एक वैरिएबल - आदर्श
एक टॉपिंग/एक वैरिएबल
- हर टॉपिंग/कंडीशन का अलग आकलन
- चीज़: कंट्रोल वैरिएबल
- पेपरोनी: टॉपिंग वैरिएबल
दो टॉपिंग/कई वैरिएबल्स
- कॉम्बिनेशन का आकलन
- पेयरिंग: शिमला मिर्च & प्याज, ऑलिव्स & लहसुन
- कोई कंट्रोल नहीं

चीज़ और पेपरोनी एक-टॉपिंग पिज़्ज़ा (हर समूह में 3 सब्जेक्ट), और शिमला मिर्च-प्याज तथा ऑलिव-लहसुन दो-टॉपिंग पिज़्ज़ा (हर समूह में 3)।

ज़्यादा वैरिएबल्स -> ज़्यादा विश्लेषण
- टाइप I त्रुटि दर अधिक
सामान्य महत्व स्तर: 5%
- alpha: 0.05
- टाइप I त्रुटि की 5% संभावना
कॉन्फिडेंस लेवल: 100 - महत्व स्तर
- फैमिली-वाइज़ त्रुटि दर निकालने में उपयोग
  - 1 - कोई फॉल्स पॉज़िटिव न होने की प्रायिकता

फैमिली-वाइज़ त्रुटि दर निकालें

1 - (1-0.05)^10

1 - (0.95)^10

0.40126306076

40%

लाइन प्लॉट: शुरू में नई सबमिशनें अधिक, समय के साथ औसत की ओर लौटती हुईं।

लाइन प्लॉट: ओरिजिनल बटन में बदलाव नहीं; बदलाव वाले समूह में शुरुआत में कई नई सबमिशनें, फिर औसत की ओर लौटकर बिना बदलाव वाले के बराबर।

mean(c(1, 10))

5.5

mean(c(1, 10, 9))

6.6666

R में A/B Testing