Testarea A/B

Înțelegerea științei datelor

Lis Sulmont

Curriculum Manager, DataCamp

Fluxul de lucru în știința datelor

Experimentele ajută la luarea deciziilor și formularea concluziilor

Formularea întrebării: Titlul A sau titlul B al articolului generează mai multe clicuri?

Formularea ipotezei: Titlul A și titlul B generează același număr de clicuri.

Colectarea datelor:

Titluri test A/B

Testarea ipotezei cu un test statistic: Diferența dintre ratele de clic ale celor două titluri este semnificativă?

Interpretarea rezultatelor:

Titluri test A/B

Cunoscut și ca testare Champion/Challenger

Test A/B

Dimensiunea eșantionului: numărul de puncte de date utilizate
Semnificație statistică: rezultatul nu se datorează întâmplării
- Pe baza ipotezelor modelului statistic
- Se calculează cu teste statistice:
  - ex.: testul t, testul Z, ANOVA, testul Chi-pătrat

Clic pe link

Procent dimensiune eșantion

Metrică de referință pentru a măsura modificările
- Cât de des accesează utilizatorii linkurile spre blogurile noastre
Dacă rata este mult mai mare sau mai mică de 50%, este nevoie de un eșantion mare
- Rata de clic este de obicei mică (<3%)

Sensibilitate dimensiune eșantion

Eșantioanele mai mari permit detectarea unor modificări mai mici

Semnificație statistică

Înțelegerea științei datelor