왜 실험을 할까요?

Python으로 배우는 A/B Testing

Moe Lotfy, PhD

Principal Data Science Manager

A/B 테스트의 가치

  • 새 디자인·기능의 영향에 대한 불확실성 축소

  • 의사결정: 직관이 아닌 과학적·증거 기반

  • 투자 대비 큰 가치: 작은 변경으로 큰 성과

  • 성숙 단계에서의 지속적 최적화

  • 상관관계는 인과를 의미하지 않음

Python으로 배우는 A/B Testing

증거의 위계

증거의 위계(개작)

1 https://jamanetwork.com/journals/jama/article-abstract/392650
Python으로 배우는 A/B Testing

오류 메시지가 이탈을 줄일까?

  • Microsoft Office 365의 허위 상관 예시:$^1$

    Microsoft Office 365의 허위 상관 예시

    • 허위 상관: 인과처럼 보이지만 실제로는 아닌 강한 상관관계.
1 Kohavi, Ron,Tang, Diane,Xu, Ya. Trustworthy Online Controlled Experiments. Cambridge University Press.
Python으로 배우는 A/B Testing

피어슨 상관계수

  • 두 변수 간 선형 관계의 강도를 측정하는 지표입니다.
  • r>0: 양의 상관
  • r = 0: 상관 없음
  • r<0: 음의 상관
  • 피어슨 상관계수(r) 공식:

피어슨 상관계수(r) 식

  • 가정: 정규분포, 선형성
Python으로 배우는 A/B Testing

상관관계 시각 점검

# 시각화 라이브러리 seaborn 가져오기
import seaborn as sns

# pairplot 생성
sns.pairplot(admissions[['Serial No.',\
      'GRE Score', 'Chance of Admit']])

데이터셋의 세 열 간 관계를 보여주는 산점도들

Python으로 배우는 A/B Testing

피어슨 상관 히트맵

# 시각화 라이브러리 seaborn 가져오기
import seaborn as sns

# 피어슨 상관계수 출력
print(admissions['GRE Score']\
   .corr(admissions['Chance of Admit']))

0.8026104595903503

# 상관관계 히트맵 그리기
sns.heatmap(admissions.corr(),annot=True)

데이터셋의 모든 변수와 상관계수를 보여주는 히트맵

Python으로 배우는 A/B Testing

연습해 봅시다!

Python으로 배우는 A/B Testing

Preparing Video For Download...