Báo cáo kết quả A/B

A/B Testing bằng R

Lauryn Burleigh

Data Scientist

Trực quan A/B

Gửi kết luận ra ngoài đội dữ liệu

Trực quan rõ ràng
Truyền tải chính xác phát hiện

Trực quan A/B

Biểu đồ cột

Giả thuyết so sánh trung bình nhóm
- t-test

Trực quan hóa:

Trung bình
Thanh sai số
- Độ lệch chuẩn
- Sai số chuẩn
- Khoảng tin cậy

Biểu đồ cột thời gian ăn pizza Pepperoni màu hồng và Cheese màu xanh trên trục x. Mỗi cột có thanh sai số.

Định dạng dữ liệu cho biểu đồ cột

library(dplyr)

data <- pizza %>%
    group_by(Topping) %>%

    summarise(AvgTime = mean(Time), 
              SdTime = sd(Time))

data

# A tibble: 2 × 3
  Topping   AvgTime SdTime
  <chr>       <dbl>  <dbl>
1 Cheese      5.81  0.948
2 Pepperoni   6.46  1.06

Dùng biểu đồ cột

library(ggplot2)

ggplot(data, aes(x = Topping,

              y = AvgTime,

              fill = Topping)) +

  geom_bar(stat =  "summary", 
           fun = "mean") +

  geom_errorbar(aes(
    ymin = AvgTime - SdTime, 
    ymax = AvgTime + SdTime))

Biểu đồ cột: thiết kế web hiện tại màu hồng và tùy chọn mới màu xanh trên trục x. Mỗi cột có thanh sai số.

Biểu đồ hộp

So sánh trung vị nhóm
- Mann–Whitney U
- Chi-square
- Fisher's Exact
- t-test
Cạnh dưới hộp: 25% điểm dữ liệu thấp hơn
Cạnh trên hộp: 75% điểm dữ liệu thấp hơn
Râu: giá trị lớn nhất và nhỏ nhất
- Loại trừ ngoại lệ
Ngoại lệ: điểm ngoài râu

Biểu đồ hộp thời gian ăn pizza Pepperoni màu hồng và Cheese màu xanh.

Dùng biểu đồ hộp

Dữ liệu dạng dài
Lý tưởng cho nhà nghiên cứu/thống kê hoặc đánh giá phân phối không chuẩn

ggplot(pizza, aes(x = Topping, y = Time, 
                fill = Topping)) +

  geom_boxplot()

Biểu đồ hộp thời gian ăn pizza Pepperoni màu hồng và Cheese màu xanh.

Biểu đồ phân tán

Quan hệ giữa biến
- Tương quan
Mỗi điểm dữ liệu
Xu hướng: hướng và tốc độ

Biểu đồ phân tán: trục x là thời gian ăn pizza, trục y là mức độ thích.

Dùng biểu đồ phân tán

library(ggplot2)

ggplot(pizza, aes(x = Time, 
                  y = Enjoyment,
                  fill = Topping)) +

  geom_point()

Biểu đồ phân tán tương quan dương: trục x là thời gian, trục y là mức độ thích; mỗi điểm màu hồng (Pepperoni) hoặc xanh (Cheese).

Dùng biểu đồ phân tán

Lọc dữ liệu để đánh giá một nhóm

ggplot(subset(pizza, 
              Topping %in% 
              "Pepperoni"),
       aes(x = Time, y = Enjoy)) + 
  geom_point()

Biểu đồ phân tán tương quan dương: trục x là thời gian, trục y là mức độ thích, chỉ cho pizza Pepperoni.

Trình bày dữ liệu

Khán giả không có nền tảng thống kê:

Giá trị thống kê khó hữu ích
Dùng phát hiện thực tế
Nêu kết luận kiểm định
Phân tích lực mẫu (power)
Thanh sai số

Ảnh minh họa trình bày kết quả dữ liệu cho hai người.

Ví dụ trình bày dữ liệu

Kết quả:

t-test có ý nghĩa
Power = 0,9

Trình bày:

Có khác biệt có ý nghĩa
Pizza Pepperoni ăn nhanh hơn Cheese
Kết quả đáng tin cậy
Không biến thiên lớn (thanh sai số)

Biểu đồ cột: thiết kế web hiện tại màu hồng và tùy chọn mới màu xanh trên trục x. Mỗi cột có thanh sai số.

Ayo berlatih!

A/B Testing bằng R