Présenter les résultats d'un test A/B

Tests A/B en R

Lauryn Burleigh

Data Scientist

Visualisations A/B

Diffuser les conclusions hors de l'équipe de données

Visualisations claires
Transmettre fidèlement les constats

Visualisations A/B

Diagrammes à barres

Hypothèse comparant les moyennes de groupes
- t-test

Visualise :

Moyenne
Barres d'erreur
- Écart-type
- Erreur-type
- Intervalle de confiance

Un diagramme à barres montrant la moyenne du temps pour manger une pizza au pepperoni en rose et une pizza au fromage en bleu, sur l'axe des x. Des barres d'erreur sont tracées pour chaque barre.

Mise en forme des données (barres)

library(dplyr)

data <- pizza %>%
    group_by(Topping) %>%

    summarise(AvgTime = mean(Time), 
              SdTime = sd(Time))

data

# A tibble: 2 × 3
  Topping   AvgTime SdTime
  <chr>       <dbl>  <dbl>
1 Cheese      5.81  0.948
2 Pepperoni   6.46  1.06

Utiliser des diagrammes à barres

library(ggplot2)

ggplot(data, aes(x = Topping,

              y = AvgTime,

              fill = Topping)) +

  geom_bar(stat =  "summary", 
           fun = "mean") +

  geom_errorbar(aes(
    ymin = AvgTime - SdTime, 
    ymax = AvgTime + SdTime))

Un diagramme à barres montrant la moyenne de la conception Web actuellement déployée en rose et de la nouvelle option en bleu, sur l'axe des x. Des barres d'erreur sont tracées pour chaque barre.

Diagrammes à moustaches (box plots)

Comparer les médianes de groupes
- Mann-Whitney U
- Khi carré
- Exact de Fisher
- t-tests
Limite inférieure de la boîte : 25 % des points en dessous
Limite supérieure de la boîte : 75 % des points en dessous
Moustaches : valeurs min et max
- Valeurs aberrantes exclues
Valeurs aberrantes : points hors des moustaches

Un diagramme à moustaches du temps pour manger une pizza au pepperoni en rose et une pizza au fromage en bleu.

Utiliser des diagrammes à moustaches

Données en format long
Idéal pour les chercheurs, les statisticiens ou pour évaluer des distributions non normales

ggplot(pizza, aes(x = Topping, y = Time, 
                fill = Topping)) +

  geom_boxplot()

Un diagramme à moustaches du temps pour manger une pizza au pepperoni en rose et une pizza au fromage en bleu.

Nuages de points

Relation entre variables
- Corrélations
Chaque point = une observation
Tendance : direction et intensité

Un nuage de points montrant le temps pour manger la pizza sur l'axe des x et l'appréciation de la pizza sur l'axe des y.

Utiliser des nuages de points

library(ggplot2)

ggplot(pizza, aes(x = Time, 
                  y = Enjoyment,
                  fill = Topping)) +

  geom_point()

Nuage de points d'une corrélation positive avec le temps sur l'axe des x et l'appréciation sur l'axe des y, chaque point étant rose pour pepperoni ou bleu pour fromage.

Utiliser des nuages de points

Sous-ensemble pour évaluer un seul groupe

ggplot(subset(pizza, 
              Topping %in% 
              "Pepperoni"),
       aes(x = Time, y = Enjoy)) + 
  geom_point()

Nuage de points d'une corrélation positive avec le temps sur l'axe des x et l'appréciation sur l'axe des y pour la pizza au pepperoni seulement.

Présentation des données

Public sans formation en statistiques :

Valeurs statistiques peu parlantes
Miser sur des constats concrets
Conclusion du test
Analyse de puissance
Barres d'erreur

Image d'illustration de résultats de données présentés à deux personnes.

Exemple de présentation

Résultats :

t-test significatif
Puissance = 0,9

Présentation :

Différence significative trouvée
La pizza au pepperoni a été mangée plus vite que la fromage
Résultats fiables
Pas de grande variation (barres d'erreur)

Un diagramme à barres montrant la moyenne de la conception Web actuellement déployée en rose et de la nouvelle option en bleu, sur l'axe des x. Des barres d'erreur sont tracées pour chaque barre.

Passons à la pratique !

Tests A/B en R