Présenter les résultats d'un test A/B

Tests A/B en R

Lauryn Burleigh

Data Scientist

Visualisations A/B

Partager les conclusions au-delà de l'équipe data

Visuels clairs
Transmettre fidèlement les résultats

Visualisations A/B

Diagrammes en barres

Hypothèse comparant des moyennes de groupes
- test t

Visualise :

Moyenne
Barres d'erreur
- Écart type
- Erreur standard
- Intervalle de confiance

Un diagramme en barres montrant sur l'axe des x la moyenne du temps pour manger une pizza Pepperoni en rose et une pizza Fromage en bleu. Des barres d'erreur sont tracées pour chaque barre.

Mise en forme des données pour barres

library(dplyr)

data <- pizza %>%
    group_by(Topping) %>%

    summarise(AvgTime = mean(Time), 
              SdTime = sd(Time))

data

# A tibble: 2 × 3
  Topping   AvgTime SdTime
  <chr>       <dbl>  <dbl>
1 Cheese      5.81  0.948
2 Pepperoni   6.46  1.06

Utiliser des diagrammes en barres

library(ggplot2)

ggplot(data, aes(x = Topping,

              y = AvgTime,

              fill = Topping)) +

  geom_bar(stat =  "summary", 
           fun = "mean") +

  geom_errorbar(aes(
    ymin = AvgTime - SdTime, 
    ymax = AvgTime + SdTime))

Un diagramme en barres montrant sur l'axe des x la moyenne du design web actuel en rose et de la nouvelle option en bleu. Des barres d'erreur sont tracées pour chaque barre.

Diagrammes en boîtes

Comparer des médianes de groupes
- Mann-Whitney U
- Khi deux
- Exact de Fisher
- tests t
Limite basse de la boîte : 25 % des points en dessous
Limite haute de la boîte : 75 % des points en dessous
Moustaches : valeurs min et max
- Valeurs aberrantes exclues
Valeurs aberrantes : point hors moustaches

Un diagramme en boîtes du temps pour manger une pizza Pepperoni en rose et une pizza Fromage en bleu.

Utiliser des diagrammes en boîtes

Données au format long
Idéal pour chercheurs, statisticiens ou pour évaluer des distributions non normales

ggplot(pizza, aes(x = Topping, y = Time, 
                fill = Topping)) +

  geom_boxplot()

Un diagramme en boîtes du temps pour manger une pizza Pepperoni en rose et une pizza Fromage en bleu.

Nuages de points

Relation entre variables
- Corrélations
Chaque point
Tendance : direction et intensité

Un nuage de points montrant le temps pour manger une pizza sur l'axe des x et le plaisir de la pizza sur l'axe des y.

Utiliser des nuages de points

library(ggplot2)

ggplot(pizza, aes(x = Time, 
                  y = Enjoyment,
                  fill = Topping)) +

  geom_point()

Nuage de points d'une corrélation positive avec le temps sur l'axe des x et le plaisir sur l'axe des y, chaque point étant coloré en rose pour Pepperoni et en bleu pour Fromage.

Utiliser des nuages de points

Sous-ensemble de données pour évaluer un groupe

ggplot(subset(pizza, 
              Topping %in% 
              "Pepperoni"),
       aes(x = Time, y = Enjoy)) + 
  geom_point()

Nuage de points d'une corrélation positive avec le temps sur l'axe des x et le plaisir sur l'axe des y pour la seule pizza Pepperoni.

Présenter des données

Public sans base en statistiques :

Valeurs statistiques peu parlantes
Privilégier des résultats concrets
Conclusion du test
Analyse de puissance
Barres d'erreur

Image d'illustration : résultats de données présentés à deux personnes.

Exemple de présentation de données

Résultats :

test t significatif
Puissance = 0,9

Présentation :

Différence significative observée
La pizza Pepperoni a été mangée plus vite que la Fromage
Résultats fiables
Pas de grande variation (barres d'erreur)

Un diagramme en barres montrant sur l'axe des x la moyenne du design web actuel en rose et de la nouvelle option en bleu. Des barres d'erreur sont tracées pour chaque barre.

Passons à la pratique !

Tests A/B en R