지표 설계와 추정

Python으로 배우는 A/B Testing

Moe Lotfy, PhD

Principal Data Science Manager

지표의 종류

 

  • 핵심 지표(목표/노스스타):
    • 비즈니스/미션의 성공을 가장 잘 설명
  • 세부 지표:
    • 사용자 행동을 가장 잘 설명
    • 더 민감하고 실행 가능
    • 가입률:
      • = (클릭/방문자) X (가입/클릭)
  • 계측/가드레일 지표:
    • 이 강의 범위 밖

노스스타 지표 일러스트

막대/선 그래프 지표 일러스트

Python으로 배우는 A/B Testing

지표의 종류

정량 분류

  • 평균/백분위수: 평균 매출, 페이지 체류시간 중앙값
  • 비율(분수):
    • 가입률: 가입자/총 방문자
    • 이탈률: 이탈자/총 방문자
  • 비(레시오):
    • 클릭률(CTR): 클릭/페이지 방문 또는 클릭/광고 노출
    • 세션당 매출
  • 지표를 결합해 더 포괄적 성공/실패 기준을 만들 수 있음
Python으로 배우는 A/B Testing

지표 요건

  • 중요하지 않은 차이에 안정적/견고

  • 중요한 변화에 민감

  • 로깅 한계 내에서 측정 가능

  • 게임화 불가

    • 과도한 색상 사용
    • 페이지 체류시간

과장된 콜투액션 버튼

Python으로 배우는 A/B Testing

Python으로 지표 추정

checkout.groupby('gender')['purchased'].mean()

gender
F    0.908056
M    0.780009
Name: purchased, dtype: float64

checkout[(checkout['browser']=='chrome')|(checkout['browser']=='safari')]\
    .groupby('gender')['order_value'].mean()

gender
F    29.814161
M    30.383431
Name: order_value, dtype: float64
Python으로 배우는 A/B Testing

Python으로 지표 추정

checkout.groupby('browser')[['order_value', 'purchased']].mean()

         order_value  purchased
browser                        
chrome     30.016625   0.839088
firefox    29.887491   0.851725
safari     30.119808   0.844337
Python으로 배우는 A/B Testing

연습해 봅시다!

Python으로 배우는 A/B Testing

Preparing Video For Download...