Testare A/B

Data Science pentru Afaceri

Kaelen Medeiros

Data Scientist at Medidata Solutions

Ce este testarea A/B?

Test A/B

Data Science pentru Afaceri

Studiu de caz: titluri de articole

Titluri de articole testate A/B

Data Science pentru Afaceri

Pașii testării A/B

  • Alegerea unei metrici de urmărit
  • Calcularea dimensiunii eșantionului
  • Rularea experimentului
  • Verificarea semnificației statistice
Data Science pentru Afaceri

Alegeți o metrică de urmărit

Clic pe un link

Data Science pentru Afaceri

Dimensiunea eșantionului în procente

Data Science pentru Afaceri

Sensibilitatea dimensiunii eșantionului

Data Science pentru Afaceri

Rulați experimentul

Rularea experimentului

Data Science pentru Afaceri

Verificați semnificația statistică

Semnificație statistică

Data Science pentru Afaceri

Ce facem dacă rezultatele nu sunt semnificative?

  • Diferența este mai mică decât pragul ales
  • Prelungirea testului nu va ajuta
  • Poate exista o diferență; ea este doar mică
Data Science pentru Afaceri

Să exersăm!

Data Science pentru Afaceri

Preparing Video For Download...