A/B 테스트와 설계

R로 배우는 A/B Testing

Lauryn Burleigh

Data Scientist

A/B 테스트

  • 통계 기법
  • 데이터 기반 의사결정
  • 차이와 관계 검정
  • 적합한 용도:
    • 마케팅 최적화, 웹·광고 테스트

이 강의에서:

  • A/B 데이터 분석
  • 의사결정과 예측 수행

 

두 개의 유사한 태블릿과 각기 다른 백분율을 보이는 A/B 테스트 일러스트.

R로 배우는 A/B Testing

A/B 설계

  • 조건의 영향:
    • 치즈/페퍼로니 피자 섭취 시간

 

  • 그룹 A: 치즈 피자
  • 그룹 B: 페퍼로니 피자
  • 피험자 간 설계

한 참여자는 한 그룹에만 기여.

R로 배우는 A/B Testing

대조군

 

 

그룹 A 친구 Charlie, Sam, Hunter가 치즈 피자를 선택해 그룹 A가 됨.

  • 대조군

 

 

그룹 B 친구 Jessie, Skylar, Elliot가 페퍼로니 피자를 선택해 그룹 B가 됨.

  • 실험군
R로 배우는 A/B Testing

데이터 프레임 구성

와이드 형식

  • 서로 다른 열에 그룹
  • 피험자 간 설계로 NA 발생
ID Cheese Pepperoni
01 5.21 NA
02 3.75 NA
03 6.32 NA
04 NA 6.53
05 NA 7.01
06 NA 6.98

롱 형식

  • 한 열에 그룹 표시
  • 선호되는 형식
ID Topping Time
01 Cheese 5.21
02 Cheese 3.75
03 Cheese 6.32
04 Pepperoni 7.64
05 Pepperoni 7.98
06 Pepperoni 5.62
R로 배우는 A/B Testing

와이드에서 롱으로 변환

ID Cheese Pepperoni
01 5.21 NA
02 3.75 NA
03 NA 6.53
04 NA 7.01
ID Topping Time
01 Cheese 5.21
02 Cheese 3.75
03 Pepperoni 7.64
04 Pepperoni 7.98 
library(tidyr)

longdf <- Pizza %>% pivot_longer(cols = c("Cheese", "Pepperoni"),

          names_to = "Topping", values_to = "Time") %>%

          na.omit()
R로 배우는 A/B Testing

그룹 시각화

library(ggplot2)

ggplot(Pizza, aes(x = Time,
                  fill = Topping)) +
geom_histogram()

페퍼로니 섭취 속도 분포는 넓고 치즈 피자 섭취 속도 분포는 좁은 히스토그램.

R로 배우는 A/B Testing

그룹 분리 표시

library(ggplot2)

ggplot(Pizza, aes(x = Time,
                  fill = Topping)) + 

geom_histogram() + facet_grid(Topping~.)

페퍼로니 섭취 평균 시간 7, 치즈 피자 섭취 평균 시간 5의 히스토그램.

R로 배우는 A/B Testing

A/B 테스트 가설

그룹 간 지표 비교

  • 치즈 피자의 선호도는 페퍼로니와 다름
  • 섭취 속도도 다름

조건 간 차이

그룹 내 지표 관계

  • 선호도와 섭취 속도는 연관됨
  • 치즈·페퍼로니 모두: 선호도와 섭취 속도 연관
  • 한 그룹(치즈): 치즈 선호도와 치즈 섭취 속도 연관

지표 간 추세

R로 배우는 A/B Testing

연습해 봅시다!

R로 배우는 A/B Testing

Preparing Video For Download...