A/B 테스트

데이터 과학 이해하기

Lis Sulmont

Curriculum Manager, DataCamp

데이터 과학 워크플로

데이터 과학 워크플로

데이터 과학 이해하기

데이터 과학에서 실험이란 무엇인가요?

실험은 의사 결정을 이끌고 결론을 도출하는 데 도움이 됩니다

  1. 질문 만들기
  2. 가설 세우기
  3. 데이터 수집하기
  4. 가설을 통계적 검정으로 검증하기
  5. 결과 해석하기
데이터 과학 이해하기

사례 연구: 어떤 블로그 게시물 제목이 더 나은가요?

질문 만들기: 블로그 제목 A와 블로그 제목 B 중 어느 쪽이 더 많은 클릭을 유도하나요?

가설 세우기: 블로그 제목 A와 블로그 제목 B는 동일한 클릭 수를 유발합니다.

데이터 수집하기:

  • 사용자 50%는 블로그 제목 A를 봅니다
  • 사용자 50%는 블로그 제목 B를 봅니다
  • 표본 크기에 도달할 때까지 클릭률을 추적합니다

A/B 테스트 제목.jpg

데이터 과학 이해하기

사례 연구: 어떤 블로그 게시물 제목이 더 나은가요?

가설을 통계적 검정으로 검증하기: 제목의 클릭률 차이가 유의한가요?

결과 해석하기:

  • 제목을 선택합니다
  • 또는 더 많은 질문을 하고 다른 실험을 설계합니다!

A/B 테스트 제목.jpg

데이터 과학 이해하기

A/B 테스트란 무엇인가요?

챔피언/챌린저 테스트라고도 함

A/B 테스트.png

데이터 과학 이해하기

용어 검토

  • 표본 크기: 사용된 데이터 포인트 수
  • 통계적 유의성: 결과가 우연이 아닐 가능성이 높습니다
    • 통계 모델에 가정이 주어졌습니다
    • 이 값을 계산하려면 통계적 검정을 사용하세요.
      • 예: T-검정, Z-검정, ANOVA, 카이제곱 검정
데이터 과학 이해하기

A/B 테스트 단계

  • 추적할 지표 선택하기
  • 표본 크기 계산하기
  • 실험 진행하기
  • 유의성 확인하기
데이터 과학 이해하기

추적할 지표 선택: 클릭률

링크 클릭수.jpg

데이터 과학 이해하기

표본 크기 퍼센트.jpg

  • 변경 사항을 측정하는 기준 지표
    • 사람들이 일반적으로 블로그 링크를 클릭하는 빈도
  • 비율이 50%보다 훨씬 크거나 작으면 큰 표본 크기가 필요합니다
    • 클릭률은 일반적으로 낮습니다(3% 미만)
데이터 과학 이해하기

표본 크기 민감도.jpg

표본 크기가 크면 더 작은 변화를 감지할 수 있습니다

데이터 과학 이해하기

실험 진행하기

실험 진행하기.jpg

데이터 과학 이해하기

유의성 확인하기

유의성.jpg

데이터 과학 이해하기

결과가 유의하지 않다면 어떻게 하나요?

  • 차이는 우리가 선택한 임계값보다 작습니다
  • 테스트를 더 오래 진행해도 도움이 되지 않습니다
  • 여전히 차이가 있을 수 있습니다. 우리에게는 작고 유의성이 크지 않을 뿐입니다
데이터 과학 이해하기

연습해 봅시다!

데이터 과학 이해하기

Preparing Video For Download...