Points à considérer pour un test A/B

Tests A/B en R

Lauryn Burleigh

Data Scientist

Points à considérer pour un test A/B

N'utilisez un A/B que si…

  • Sujets/trafic suffisants
  • Temps pour concevoir et tester
  • Hypothèse claire

Points à considérer en test A/B

  • Fluctuations des données
  • Nombre de variables
  • Régression vers la moyenne
Tests A/B en R

Fluctuations des données

  • Pour la justesse, représenter toute la population
  • Les fluctuations influencent les résultats
    • Changement de sujets
    • Jour de la semaine
    • Jours fériés
    • Perception du public

Graphique linéaire montrant des utilisateurs de retour en baisse puis en hausse et des nouveaux utilisateurs en hausse.

Hausse des ventes durant les fêtes d'hiver.

Les ventes augmentent pendant une promotion et baissent hors promotion.

Tests A/B en R

Exemple de fluctuations

normaldist <- rnorm(10000) 
datasample <- sample(normaldist, 10)
ggplot() + 
    aes(datasample) +
    geom_histogram(bins = 8)

Histogramme de 10 points répartis sur tout l'axe des x.

Histogramme de 10 points avec des barres au début, au milieu et à la fin de l'axe des x.

Histogramme de 10 points avec des barres surtout au milieu de l'axe des x.

Tests A/B en R

Nombre de variables

  • Une variable : idéal
  • Une garniture/une variable
    • Évaluer chaque garniture/condition
    • Fromage : variable témoin
    • Pepperoni : variable de garniture
  • Deux garnitures/variables multiples
    • Évaluer les combinaisons
    • Duos : poivron & oignon, olive & ail
    • Aucun témoin

Pizzas une garniture fromage et pepperoni avec 3 sujets par groupe, et pizzas deux garnitures poivron avec oignon et olive avec ail avec 3 sujets chacune.

Tests A/B en R

Variables et erreur de type I

  • Plus de variables → plus d'analyses
    • Taux d'erreur de type I plus élevé
  • Seuil courant : 5 %
    • alpha : 0,05
    • 5 % de risque d'erreur de type I
  • Niveau de confiance : 100 − seuil
    • Sert à calculer le taux d'erreur familial
      • 1 − probabilité d'aucun faux positif

Calculer le taux d'erreur familial

  • Seuil : 5 %
  • Confiance : 95 %
  • Tests à effectuer : 10
1 - (1-0.05)^10

1 - (0.95)^10

0.40126306076

40 %

Tests A/B en R

Régression vers la moyenne

  • Valeurs extrêmes s'atténuent avec plus de données
  • Risque d'erreur de type I
  • Comparer à un groupe témoin

Courbe montrant beaucoup de nouvelles soumissions au début, puis une régression vers la moyenne avec le temps.

Courbe montrant aucune variation pour le bouton original comparée à une forte hausse avec un changement, puis régression vers la moyenne rejoignant la courbe sans changement.

Tests A/B en R

Régression vers la moyenne

  • Petits échantillons : faible précision
  • Risque d'erreur de type I
  • Plus de données → moyenne réelle
ID Appréciation [1–10]
01 1
02 10
03 9 
mean(c(1, 10))

5.5

mean(c(1, 10, 9))

6.6666
Tests A/B en R

Passons à la pratique !

Tests A/B en R

Preparing Video For Download...