A/B 테스트 모범 사례와 고급 주제 소개

Python으로 배우는 A/B Testing

Moe Lotfy, PhD

Principal Data Science Manager

모범 사례

미리 보기 금지

  • 설계한 표본 크기에 도달하기 전에 결과를 미리 보고 의사결정하지 마십시오. 다중 비교처럼 오류율이 증가합니다.

요일 효과 반영

  • 주말과 주중에 사용자 행동이 달라질 수 있으므로 전체 행동을 포함해야 합니다.
Python으로 배우는 A/B Testing

모범 사례

  • 단순성/실행 가능성:
    • 전체 기능을 꼭 구현해야 합니까?
    • 페인티드 도어 테스트
  • 격리
    • 한 번에 하나의 변수만 변경하여 효과를 식별합니다.
Python으로 배우는 A/B Testing

고급 주제

  • 다요인 설계와 상호작용 효과
    • 각 변수의 고유 효과를 측정
    • 상호작용/시너지 효과 파악
  • 베이즈 A/B 테스트
    • 사전 데이터를 현재 실험에 반영
    • 모수(모집단 매개변수)를 분포로 간주
    • 결과 해석이 더 직관적
  • SUTVA 위반과 네트워크 효과
    • 한 사용자의 배정이 다른 사용자에게 영향
    • 소셜 네트워크 A/B 테스트에서 흔함
    • 한 가지 해결책: 클러스터 단위 배정
Python으로 배우는 A/B Testing

연습해 봅시다!

Python으로 배우는 A/B Testing

Preparing Video For Download...