실험 설계: 테스트 매개변수 설정

Python으로 배우는 A/B Testing

Moe Lotfy, PhD

Principal Data Science Manager

분포 매개변수

  • d는 정규분포를 따름 귀무가설과 대립가설의 수학적 공식

  • 관측된 차이 d가 드문 경우:

    • 귀무가설 기각
  • 귀무 vs 대립가설 분포

귀무가설과 대립가설 분포의 그래픽 표현

Python으로 배우는 A/B Testing

설계 매개변수와 오류 유형

  • 검정력 (1- $\beta$)
    • $\beta$ = 제II종 오류 = 거짓 음성
    • 보통 80%로 설정
  • 최소 검출 효과(MDE)
    • 관심 있는 최소 차이

오류 유형 매트릭스

실험 매개변수의 그래픽 표현

Python으로 배우는 A/B Testing

설계 매개변수와 오류 유형

  • 유의수준 $\alpha$
    • $\alpha$ = 제I종 오류 = 거짓 양성
    • 보통 5%로 설정
  • p-값
    • 귀무가설이 참일 때 결과가 나올 확률
    • p-값 < $\alpha$이면
      • 귀무가설 기각
    • p-값 > $\alpha$이면
      • 귀무가설 기각 실패

오류 유형 매트릭스

실험 매개변수의 그래픽 표현

Python으로 배우는 A/B Testing

실험 매개변수 비유

통계적 검정력과 매개변수를 설명하는 비유:

  1. 매장 체류 시간 = 표본 크기/실험 기간

  2. 과자 봉지 크기 = 효과 크기/MDE

  3. 매장 청결/정리 상태 = 데이터 분산
Python으로 배우는 A/B Testing

연습해 봅시다!

Python으로 배우는 A/B Testing

Preparing Video For Download...