A/B 테스트 결과 보고

R로 배우는 A/B Testing

Lauryn Burleigh

Data Scientist

A/B 시각화

 

  • 데이터 팀 외부에 결론 전달

 

  • 시각화는 명확하게
  • 결과는 정확히 전달

A/B 시각화

R로 배우는 A/B Testing

막대그래프

  • 집단 평균 비교 가설
    • t-검정

시각화:

  • 평균
  • 오차막대
    • 표준편차
    • 표준오차
    • 신뢰구간

x축에 분홍색 페퍼로니 피자 섭취 시간 평균과 파란색 치즈 피자 섭취 시간 평균을 보여주는 막대그래프. 각 막대에 오차막대 포함.

R로 배우는 A/B Testing

막대 데이터 형식화

library(dplyr)

data <- pizza %>%
    group_by(Topping) %>%

    summarise(AvgTime = mean(Time), 
              SdTime = sd(Time))

data

# A tibble: 2 × 3
  Topping   AvgTime SdTime
  <chr>       <dbl>  <dbl>
1 Cheese      5.81  0.948
2 Pepperoni   6.46  1.06
R로 배우는 A/B Testing

막대그래프 사용

 

library(ggplot2)

ggplot(data, aes(x = Topping,

              y = AvgTime,

              fill = Topping)) +

  geom_bar(stat =  "summary", 
           fun = "mean") +

  geom_errorbar(aes(
    ymin = AvgTime - SdTime, 
    ymax = AvgTime + SdTime))

x축에 현재 웹 디자인의 평균(분홍)과 새로운 웹 디자인 옵션의 평균(파랑)을 보여주는 막대그래프. 각 막대에 오차막대 포함.

R로 배우는 A/B Testing

박스플롯

  • 집단 중앙값 비교
    • Mann-Whitney U
    • 카이제곱
    • Fisher의 정확검정
    • t-검정
  • 상자 하한: 하위 25%
  • 상자 상한: 하위 75%
  • 수염: 최댓값·최솟값
    • 이상치는 제외
  • 이상치: 수염 밖의 점

분홍색 페퍼로니 피자 섭취 시간과 파란색 치즈 피자 섭취 시간의 박스플롯.

R로 배우는 A/B Testing

박스플롯 사용

  • 롱 포맷 데이터
  • 연구자·통계가 또는 비정규 분포 평가에 적합

 

ggplot(pizza, aes(x = Topping, y = Time, 
                fill = Topping)) +

  geom_boxplot()

분홍색 페퍼로니 피자 섭취 시간과 파란색 치즈 피자 섭취 시간의 박스플롯.

R로 배우는 A/B Testing

산점도

  • 변수 간 관계
    • 상관관계
  • 각 점은 개별 관측치
  • 추세: 방향과 기울기

x축 피자 섭취 시간, y축 피자 만족도의 산점도.

R로 배우는 A/B Testing

산점도 사용

 

library(ggplot2)

ggplot(pizza, aes(x = Time, 
                  y = Enjoyment,
                  fill = Topping)) +

  geom_point()

 

양의 상관을 보이는 산점도. x축 시간, y축 만족도. 각 점은 페퍼로니(분홍) 또는 치즈(파랑)로 색상 구분.

R로 배우는 A/B Testing

산점도 사용

  • 한 그룹만 하위집합으로 분석

 

ggplot(subset(pizza, 
              Topping %in% 
              "Pepperoni"),
       aes(x = Time, y = Enjoy)) + 
  geom_point()

 

페퍼로니 피자만의 x축 시간, y축 만족도 산점도로 양의 상관을 보여줌.

R로 배우는 A/B Testing

데이터 발표

청중이 통계 비전공일 때:

  • 통계값은 비직관적
  • 실제 의미로 설명
  • 테스트 결론 제시
  • 검정력 분석
  • 오차막대 활용

두 사람에게 데이터 결과를 발표하는 스톡 이미지.

R로 배우는 A/B Testing

데이터 발표 예시

결과:

  • 유의한 t-검정
  • 검정력 = 0.9

발표:

  • 유의한 차이를 확인
  • 페퍼로니가 치즈보다 더 빨리 먹혔음
  • 결과는 신뢰 가능
  • 큰 변동 없음(오차막대)

x축에 현재 웹 디자인의 평균(분홍)과 새로운 웹 디자인 옵션의 평균(파랑)을 보여주는 막대그래프. 각 막대에 오차막대 포함.

R로 배우는 A/B Testing

연습해 봅시다!

R로 배우는 A/B Testing

Preparing Video For Download...