A/B टेस्ट के नतीजों की रिपोर्टिंग

R में A/B Testing

Lauryn Burleigh

Data Scientist

A/B विज़ुअलाइज़ेशन

 

  • निष्कर्ष डेटा टीम के बाहर साझा करें

 

  • साफ़ विज़ुअलाइज़ेशन
  • निष्कर्ष सटीक रूप से बताएँ

A/B विज़ुअलाइज़ेशन

R में A/B Testing

बार प्लॉट्स

  • समूह के औसत की परिकल्पना तुलना
    • t-test

दिखाता है:

  • औसत
  • एरर बार्स
    • स्टैंडर्ड डिविएशन
    • स्टैंडर्ड एरर
    • कॉन्फिडेंस इंटरवल

एक बार प्लॉट जिसमें x-अक्ष पर Pepperoni पिज़्ज़ा खाने के औसत समय को गुलाबी और Cheese पिज़्ज़ा के समय को नीले रंग में दिखाया गया है। प्रत्येक बार पर एरर बार्स हैं.

R में A/B Testing

बार डेटा फ़ॉर्मैटिंग

library(dplyr)

data <- pizza %>%
    group_by(Topping) %>%

summarise(AvgTime = mean(Time), SdTime = sd(Time))
data
# A tibble: 2 × 3
  Topping   AvgTime SdTime
  <chr>       <dbl>  <dbl>
1 Cheese      5.81  0.948
2 Pepperoni   6.46  1.06 
R में A/B Testing

बार प्लॉट्स का उपयोग

 

library(ggplot2)

ggplot(data, aes(x = Topping,
y = AvgTime,
fill = Topping)) +
geom_bar(stat = "summary", fun = "mean") +
geom_errorbar(aes( ymin = AvgTime - SdTime, ymax = AvgTime + SdTime))

एक बार प्लॉट जिसमें x-अक्ष पर मौजूदा वेब डिज़ाइन का औसत गुलाबी और नए वेब डिज़ाइन विकल्प का औसत नीले रंग में दिखाया गया है। प्रत्येक बार पर एरर बार्स हैं.

R में A/B Testing

बॉक्स प्लॉट्स

  • समूह के मेडियन की तुलना
    • Mann-Whitney U
    • Chi-square
    • Fisher's Exact
    • t-tests
  • बॉटम बॉक्स लिमिट: 25% डेटा पॉइंट्स नीचे
  • टॉप बॉक्स लिमिट: 75% डेटा पॉइंट्स नीचे
  • व्हिस्कर्स: उच्चतम और न्यूनतम मान
    • आउटलायर शामिल नहीं
  • आउटलायर: व्हिस्कर्स के बाहर के पॉइंट

Pepperoni पिज़्ज़ा खाने के समय को गुलाबी और Cheese पिज़्ज़ा के समय को नीले रंग में दिखाता एक बॉक्स प्लॉट.

R में A/B Testing

बॉक्स प्लॉट्स का उपयोग

  • डेटा लॉन्ग फ़ॉर्मैट में
  • शोधकर्ताओं/स्टैटिस्टिशियन या नॉन-नॉर्मल डिस्ट्रीब्यूशन जाँचने के लिए उपयुक्त

 

ggplot(pizza, aes(x = Topping, y = Time, 
                fill = Topping)) +

geom_boxplot()

Pepperoni पिज़्ज़ा खाने के समय को गुलाबी और Cheese पिज़्ज़ा के समय को नीले रंग में दिखाता एक बॉक्स प्लॉट.

R में A/B Testing

स्कैटर प्लॉट्स

  • वैरिएबल्स के बीच संबंध
    • कोरिलेशंस
  • हर पॉइंट
  • ट्रेंड: दिशा और दर

एक स्कैटर प्लॉट जिसमें x-अक्ष पर पिज़्ज़ा खाने का समय और y-अक्ष पर पिज़्ज़ा का आनंद दिखाया गया है.

R में A/B Testing

स्कैटर प्लॉट्स का उपयोग

 

library(ggplot2)

ggplot(pizza, aes(x = Time, 
                  y = Enjoyment,
                  fill = Topping)) +

geom_point()

 

समय x-अक्ष और आनंद y-अक्ष पर पॉज़िटिव कोरिलेशन वाला स्कैटर प्लॉट, जिसमें हर पॉइंट Pepperoni के लिए गुलाबी और Cheese के लिए नीला है.

R में A/B Testing

स्कैटर प्लॉट्स का उपयोग

  • एक समूह का आकलन करने के लिए डेटा का सबसेट लें

 

ggplot(subset(pizza, 
              Topping %in% 
              "Pepperoni"),
       aes(x = Time, y = Enjoy)) + 
  geom_point()

 

केवल Pepperoni पिज़्ज़ा के लिए: समय x-अक्ष और आनंद y-अक्ष पर पॉज़िटिव कोरिलेशन वाला स्कैटर प्लॉट.

R में A/B Testing

डेटा प्रस्तुत करना

जिनके पास सांख्यिकी पृष्ठभूमि नहीं है:

  • सांख्यिकीय मान सूचनात्मक नहीं
  • वास्तविक दुनिया के निष्कर्ष उपयोग करें
  • टेस्ट निष्कर्ष
  • पावर विश्लेषण
  • एरर बार्स

दो व्यक्तियों को डेटा परिणाम प्रस्तुत करने की स्टॉक छवि.

R में A/B Testing

डेटा प्रस्तुति उदाहरण

परिणाम:

  • t-test में सिग्निफिकेंट
  • Power = 0.9

प्रेज़ेंटेशन:

  • सिग्निफिकेंट अंतर मिला
  • Pepperoni पिज़्ज़ा, Cheese से तेज़ खाया गया
  • नतीजे विश्वसनीय
  • बड़ी वैरिएशन नहीं (एरर बार्स)

एक बार प्लॉट जिसमें x-अक्ष पर मौजूदा वेब डिज़ाइन का औसत गुलाबी और नए वेब डिज़ाइन विकल्प का औसत नीले रंग में दिखाया गया है। प्रत्येक बार पर एरर बार्स हैं.

R में A/B Testing

अभ्यास करते हैं!

R में A/B Testing

Preparing Video For Download...