Tests A/B

Comprendre la science des données

Lis Sulmont

Curriculum Manager, DataCamp

Flux de travail en science des données

Les expériences orientent les décisions et les conclusions

Formuler une question : Le titre A ou le titre B génère-t-il plus de clics ?

Formuler une hypothèse : Le titre A et le titre B génèrent le même nombre de clics.

Recueillir des données :

Titres pour un test A/B

Tester l'hypothèse avec un test statistique : La différence entre les taux de clics des titres est-elle significative ?

Interpréter les résultats :

Titres pour un test A/B

Aussi appelé « Champion/Défiant »

test a-b.png

Taille d'échantillon : nombre de points de données utilisés
Signification statistique : résultat probablement non dû au hasard
- Selon les hypothèses du modèle statistique
- Utiliser des tests statistiques pour le calculer :
  - p. ex., test t, test Z, ANOVA, test du khi carré

cliquer sur un lien

taille d'échantillon en pourcentage

Indicateur de référence pour évaluer les changements
- À quelle fréquence les gens cliquent généralement sur un lien vers nos blogues
Si le taux est beaucoup plus grand ou plus petit que 50 %, il faut un grand échantillon
- Le taux de clics est généralement faible (<3 %)

sensibilité de la taille d'échantillon

Des échantillons plus grands détectent de plus petits écarts

exécuter l'expérience

signification

Comprendre la science des données