Points clés pour l'A/B testing

Tests A/B en R

Lauryn Burleigh

Data Scientist

Points d'attention en A/B testing

N'utilisez l'A/B que si…

  • Volume d'utilisateurs/traffic suffisant
  • Temps pour concevoir et tester
  • Hypothèse claire

Points d'attention en A/B test

  • Fluctuations des données
  • Nombre de variables
  • Régression vers la moyenne
Tests A/B en R

Fluctuations des données

  • Pour la précision, représenter toute la population
  • Les fluctuations impactent les résultats
    • Changement de population
    • Jour de la semaine
    • Jours fériés
    • Image publique

Courbe : utilisateurs récurrents en baisse puis en reprise, nouveaux en hausse.

Hausse des ventes pendant les fêtes d'hiver.

Ventes en hausse pendant une promotion, en baisse hors promo.

Tests A/B en R

Exemple de fluctuations

normaldist <- rnorm(10000) 
datasample <- sample(normaldist, 10)
ggplot() + 
    aes(datasample) +
    geom_histogram(bins = 8)

Histogramme de 10 points avec des valeurs sur tout l'axe x.

Histogramme de 10 points : barres au début, milieu et fin de l'axe x.

Histogramme de 10 points : barres surtout au milieu de l'axe x.

Tests A/B en R

Nombre de variables

  • Une variable : idéal
  • Une garniture/une variable
    • Évaluer chaque garniture/condition
    • Fromage : variable de contrôle
    • Pepperoni : variable « garniture »
  • Deux garnitures/plusieurs variables
    • Évaluer les combinaisons
    • Paires : poivron & oignon, olive & ail
    • Pas de contrôle

Pizzas une garniture fromage et pepperoni (3 sujets/groupe) et deux garnitures poivron+oignon, olive+ail (3 sujets/groupe).

Tests A/B en R

Variables et erreur de type I

  • Plus de variables → plus d'analyses
    • Taux d'erreur de type I plus élevé
  • Seuil usuel : 5 %
    • alpha : 0,05
    • 5 % de risque d'erreur de type I
  • Niveau de confiance : 100 − seuil
    • Sert à calculer le taux d'erreur familial
      • 1 − probabilité d'aucun faux positif

Calculer le taux d'erreur familial

  • Seuil : 5 %
  • Niveau de confiance : 95 %
  • Tests à effectuer : 10
1 - (1-0.05)^10

1 - (0.95)^10

0.40126306076

40 %

Tests A/B en R

Régression vers la moyenne

  • Valeurs extrêmes qui s'atténuent avec plus de données
  • Risque d'erreur de type I
  • Comparer à un groupe témoin

Courbe : nombreuses nouvelles soumissions au début, puis régression vers la moyenne.

Courbe : pas de changement pour le bouton original ; forte hausse avec le changement, puis régression vers la moyenne rejoignant l'original.

Tests A/B en R

Régression vers la moyenne

  • Petits échantillons : faible précision
  • Risque d'erreur de type I
  • Plus de données → moyenne réelle
ID Satisfaction [1-10]
01 1
02 10
03 9 
mean(c(1, 10))

5.5

mean(c(1, 10, 9))

6.6666
Tests A/B en R

Passons à la pratique !

Tests A/B en R

Preparing Video For Download...