A/B 테스트에서의 고려사항

R로 배우는 A/B Testing

Lauryn Burleigh

Data Scientist

A/B 테스트 고려사항

A/B는 다음 경우에만 사용

  • 충분한 대상/트래픽
  • 설계·실험에 필요한 시간
  • 명확한 가설

A/B 테스트 고려사항

  • 데이터 변동성
  • 변수의 수
  • 평균으로의 회귀
R로 배우는 A/B Testing

데이터의 변동성

  • 정확도를 위해 모집단을 잘 대표해야 함
  • 변동이 결과에 영향
    • 대상 변화
    • 요일
    • 공휴일
    • 대중의 관심

변경 후 복귀 사용자는 감소 후 회복, 신규 사용자는 증가하는 선 그래프.

겨울 연휴 동안 매출이 증가.

세일 기간에는 매출 증가, 비세일 기간에는 감소.

R로 배우는 A/B Testing

변동성 예시

normaldist <- rnorm(10000) 
datasample <- sample(normaldist, 10)
ggplot() + 
    aes(datasample) +
    geom_histogram(bins = 8)

표본 10개의 히스토그램: x축 전반에 점이 분포.

표본 10개의 히스토그램: x축 초중말에 막대.

표본 10개의 히스토그램: 막대가 주로 중앙에 위치.

R로 배우는 A/B Testing

변수의 수

  • 변수 1개 - 이상적
  • 토핑 1개/변수 1개
    • 개별 토핑/조건 평가
    • 치즈: 대조 변수
    • 페퍼로니: 토핑 변수
  • 토핑 2개/변수 여러 개
    • 조합 평가
    • 페어링: 피망&양파, 올리브&마늘
    • 대조군 없음

치즈·페퍼로니 단일 토핑 피자(각 3명)와 피망+양파, 올리브+마늘 이중 토핑 피자(각 3명).

R로 배우는 A/B Testing

변수와 제1종 오류

  • 변수가 많을수록 → 분석 증가
    • 제1종 오류율 증가
  • 흔한 유의수준: 5%
    • alpha: 0.05
    • 제1종 오류 확률 5%
  • 신뢰수준: 100 - 유의수준
    • 가족-전체 오류율 계산에 사용
      • 1 - 허위 양성 없음의 확률

가족-전체 오류율 계산

  • 유의수준: 5%
  • 신뢰수준: 95%
  • 실행할 검정: 10
1 - (1-0.05)^10

1 - (0.95)^10

0.40126306076

40%

R로 배우는 A/B Testing

평균으로의 회귀

  • 데이터가 늘면 극단값이 평균으로 수렴
  • 제1종 오류 위험
  • 대조군과 비교

처음에는 제출이 급증하지만 시간이 지날수록 평균으로 회귀하는 선 그래프.

원래 버튼은 변화 없음. 변경 그룹은 제출이 급증했다가 평균으로 회귀해 대조와 같아지는 선 그래프.

R로 배우는 A/B Testing

평균으로의 회귀

  • 표본이 작으면 부정확함
  • 제1종 오류 위험
  • 더 많은 데이터 → 진짜 평균에 수렴
ID 만족도 [1-10]
01 1
02 10
03 9 
mean(c(1, 10))

5.5

mean(c(1, 10, 9))

6.6666
R로 배우는 A/B Testing

연습해 봅시다!

R로 배우는 A/B Testing

Preparing Video For Download...