Kiểm định A/B và thiết kế

A/B Testing bằng R

Lauryn Burleigh

Data Scientist

Kiểm định A/B

  • Kỹ thuật thống kê
  • Quyết định dựa trên dữ liệu
  • Kiểm tra khác biệt và mối liên hệ
  • Lý tưởng cho:
    • Tối ưu chiến dịch marketing, thử nghiệm website/quảng cáo

Trong khóa học này:

  • Phân tích dữ liệu A/B
  • Ra quyết định và dự báo

 

Minh họa kiểm định A/B với hai máy tính bảng tương tự và tỷ lệ khác nhau.

A/B Testing bằng R

Thiết kế A/B

  • Ảnh hưởng của điều kiện:
    • Thời gian ăn pizza Cheese hoặc Pepperoni

 

  • Nhóm A: pizza Cheese
  • Nhóm B: pizza Pepperoni
  • Thiết kế giữa nhóm

Một đối tượng chỉ thuộc một nhóm.

A/B Testing bằng R

Nhóm đối chứng

 

 

Nhóm A Bạn Charlie, Sam và Hunter chọn pizza Cheese, thành nhóm A.

  • Nhóm đối chứng

 

 

Nhóm B Bạn Jessie, Skylar và Elliot chọn pizza Pepperoni, thành nhóm B.

  • Nhóm thực nghiệm
A/B Testing bằng R

Tổ chức data frame

Dạng rộng

  • Nhóm ở các cột khác nhau
  • Có NA do thiết kế giữa nhóm
ID Cheese Pepperoni
01 5.21 NA
02 3.75 NA
03 6.32 NA
04 NA 6.53
05 NA 7.01
06 NA 6.98

Dạng dài

  • Ghi nhóm trong một cột
  • Định dạng ưu tiên
ID Topping Time
01 Cheese 5.21
02 Cheese 3.75
03 Cheese 6.32
04 Pepperoni 7.64
05 Pepperoni 7.98
06 Pepperoni 5.62
A/B Testing bằng R

Từ rộng sang dài

ID Cheese Pepperoni
01 5.21 NA
02 3.75 NA
03 NA 6.53
04 NA 7.01
ID Topping Time
01 Cheese 5.21
02 Cheese 3.75
03 Pepperoni 7.64
04 Pepperoni 7.98 
library(tidyr)

longdf <- Pizza %>% pivot_longer(cols = c("Cheese", "Pepperoni"),

          names_to = "Topping", values_to = "Time") %>%

          na.omit()
A/B Testing bằng R

Trực quan hóa nhóm

library(ggplot2)

ggplot(Pizza, aes(x = Time,
                  fill = Topping)) +
geom_histogram()

Biểu đồ tần suất: phân bố tốc độ ăn Pepperoni rộng và Cheese hẹp.

A/B Testing bằng R

Tách nhóm

library(ggplot2)

ggplot(Pizza, aes(x = Time,
                  fill = Topping)) + 

geom_histogram() + facet_grid(Topping~.)

Biểu đồ tần suất: Pepperoni có thời gian trung bình 7, Cheese trung bình 5.

A/B Testing bằng R

Giả thuyết kiểm định A/B

So sánh thước đo giữa nhóm

  • Mức thích Cheese khác Pepperoni
  • Tốc độ ăn Cheese khác Pepperoni

Khác biệt giữa điều kiện

Quan hệ của thước đo trong nhóm

  • Mức thích liên quan đến tốc độ ăn
  • Cả hai nhóm Cheese và Pepperoni: mức thích liên quan đến tốc độ ăn
  • Một nhóm (Cheese): mức thích Cheese liên quan đến tốc độ ăn Cheese

Xu hướng giữa các thước đo

A/B Testing bằng R

Ayo berlatih!

A/B Testing bằng R

Preparing Video For Download...