การรายงานผล A/B test

A/B Testing ใน R

Lauryn Burleigh

Data Scientist

การแสดงผล A/B

ส่งข้อสรุปให้ทีมอื่นนอกเหนือจากทีมข้อมูล

การแสดงผลที่ชัดเจน
นำเสนอผลการวิเคราะห์ได้อย่างถูกต้อง

การแสดงผล A/B

กราฟแท่ง

สมมติฐานเปรียบเทียบค่าเฉลี่ยของกลุ่ม
- t-test

แสดงผล:

ค่าเฉลี่ย
Error bars
- ส่วนเบี่ยงเบนมาตรฐาน
- ความคลาดเคลื่อนมาตรฐาน
- ช่วงความเชื่อมั่น

กราฟแท่งแสดงค่าเฉลี่ยเวลาที่ใช้รับประทานพิซซ่า Pepperoni สีชมพู และพิซซ่า Cheese สีน้ำเงิน บนแกน x พร้อม error bars สำหรับแต่ละแท่ง

การจัดรูปแบบข้อมูลสำหรับกราฟแท่ง

library(dplyr)

data <- pizza %>%
    group_by(Topping) %>%

    summarise(AvgTime = mean(Time), 
              SdTime = sd(Time))

data

# A tibble: 2 × 3
  Topping   AvgTime SdTime
  <chr>       <dbl>  <dbl>
1 Cheese      5.81  0.948
2 Pepperoni   6.46  1.06

การใช้กราฟแท่ง

library(ggplot2)

ggplot(data, aes(x = Topping,

              y = AvgTime,

              fill = Topping)) +

  geom_bar(stat =  "summary", 
           fun = "mean") +

  geom_errorbar(aes(
    ymin = AvgTime - SdTime, 
    ymax = AvgTime + SdTime))

กราฟแท่งแสดงค่าเฉลี่ยของการออกแบบเว็บไซต์ที่ใช้งานอยู่ปัจจุบันสีชมพู และตัวเลือกการออกแบบใหม่สีน้ำเงิน บนแกน x พร้อม error bars สำหรับแต่ละแท่ง

Box plots

เปรียบเทียบค่ามัธยฐานของกลุ่ม
- Mann-Whitney U
- Chi-square
- Fisher's Exact
- t-tests
ขอบล่างของกล่อง: 25% ของจุดข้อมูลอยู่ต่ำกว่า
ขอบบนของกล่อง: 75% ของจุดข้อมูลอยู่ต่ำกว่า
หนวด: ค่าสูงสุดและต่ำสุด
- ไม่รวม outliers
Outliers: จุดที่อยู่นอกหนวด

กราฟ box plot ของเวลาที่ใช้รับประทานพิซซ่า Pepperoni สีชมพู และพิซซ่า Cheese สีน้ำเงิน

การใช้ box plots

ข้อมูลในรูปแบบ long format
เหมาะสำหรับนักวิจัย นักสถิติ หรือการประเมินการแจกแจงที่ไม่เป็นปกติ

ggplot(pizza, aes(x = Topping, y = Time, 
                fill = Topping)) +

  geom_boxplot()

กราฟ box plot ของเวลาที่ใช้รับประทานพิซซ่า Pepperoni สีชมพู และพิซซ่า Cheese สีน้ำเงิน

Scatter plots

ความสัมพันธ์ระหว่างตัวแปร
- สหสัมพันธ์
ทุกจุดข้อมูล
แนวโน้ม: ทิศทางและอัตรา

กราฟ scatter plot แสดงเวลาที่ใช้รับประทานพิซซ่าบนแกน x และความพึงพอใจในพิซซ่าบนแกน y

การใช้ scatter plots

library(ggplot2)

ggplot(pizza, aes(x = Time, 
                  y = Enjoyment,
                  fill = Topping)) +

  geom_point()

Scatter plot แสดงสหสัมพันธ์เชิงบวก โดยมีเวลาบนแกน x และความพึงพอใจบนแกน y แต่ละจุดมีสีชมพูหากเป็นพิซซ่า Pepperoni และสีน้ำเงินหากเป็นพิซซ่า Cheese

การใช้ scatter plots

คัดกรองข้อมูลเพื่อวิเคราะห์กลุ่มเดียว

ggplot(subset(pizza, 
              Topping %in% 
              "Pepperoni"),
       aes(x = Time, y = Enjoy)) + 
  geom_point()

Scatter plot แสดงสหสัมพันธ์เชิงบวก โดยมีเวลาบนแกน x และความพึงพอใจบนแกน y เฉพาะพิซซ่า Pepperoni

การนำเสนอข้อมูล

ผู้ฟังไม่มีพื้นฐานสถิติ:

ค่าสถิติไม่ได้ให้ข้อมูลที่เป็นประโยชน์
ใช้ผลลัพธ์ในเชิงปฏิบัติ
ข้อสรุปของการทดสอบ
การวิเคราะห์อำนาจสถิติ
Error bars

ภาพประกอบการนำเสนอผลข้อมูลให้กับบุคคลสองคน

ตัวอย่างการนำเสนอข้อมูล

ผลการวิเคราะห์:

t-test มีนัยสำคัญ
Power = 0.9

การนำเสนอ:

พบความแตกต่างอย่างมีนัยสำคัญ
พิซซ่า Pepperoni รับประทานได้เร็วกว่า Cheese
ผลลัพธ์เชื่อถือได้
ความแปรปรวนไม่สูง (error bars)

มาฝึกกันเถอะ!

A/B Testing ใน R