Tests A/B et plan d'étude

Tests A/B en R

Lauryn Burleigh

Data Scientist

Test A/B

  • Technique statistique
  • Décisions guidées par les données
  • Tester différences et relations
  • Idéal pour :
    • Optimiser des campagnes marketing, tester sites web et publicités

Dans ce cours :

  • Analyser des données A/B
  • Prendre des décisions et faire des prédictions

 

Illustration d'un test A/B montrant deux tablettes similaires et des pourcentages différents pour chacune.

Tests A/B en R

Plan A/B

  • Impact d'une condition :
    • Temps pour manger une pizza Margherita ou Pepperoni

 

  • Groupe A : pizza Margherita
  • Groupe B : pizza Pepperoni
  • Plan inter-sujets

Un sujet contribue à un seul groupe.

Tests A/B en R

Groupe témoin

 

 

Groupe A Les amis Charlie, Sam et Hunter choisissent la pizza Margherita ; ils deviennent le groupe A.

  • Groupe témoin

 

 

Groupe B Les amis Jessie, Skylar et Elliot choisissent la pizza Pepperoni ; ils deviennent le groupe B.

  • Groupe expérimental
Tests A/B en R

Organisation du data frame

Format large

  • Groupes en colonnes distinctes
  • NA dus au plan inter-sujets
ID Margherita Pepperoni
01 5.21 NA
02 3.75 NA
03 6.32 NA
04 NA 6.53
05 NA 7.01
06 NA 6.98

Format long

  • Groupes indiqués dans une colonne
  • Format recommandé
ID Garniture Temps
01 Margherita 5.21
02 Margherita 3.75
03 Margherita 6.32
04 Pepperoni 7.64
05 Pepperoni 7.98
06 Pepperoni 5.62
Tests A/B en R

Du format large au format long

ID Margherita Pepperoni
01 5.21 NA
02 3.75 NA
03 NA 6.53
04 NA 7.01
ID Garniture Temps
01 Margherita 5.21
02 Margherita 3.75
03 Pepperoni 7.64
04 Pepperoni 7.98 
library(tidyr)

longdf <- Pizza %>% pivot_longer(cols = c("Cheese", "Pepperoni"),

          names_to = "Topping", values_to = "Time") %>%

          na.omit()
Tests A/B en R

Visualiser les groupes

library(ggplot2)

ggplot(Pizza, aes(x = Time,
                  fill = Topping)) +
geom_histogram()

Histogramme : distribution large des temps pour Pepperoni et plus étroite pour Margherita.

Tests A/B en R

Séparer les groupes

library(ggplot2)

ggplot(Pizza, aes(x = Time,
                  fill = Topping)) + 

geom_histogram() + facet_grid(Topping~.)

Histogrammes : temps moyen 7 pour Pepperoni et 5 pour Margherita.

Tests A/B en R

Hypothèses de test A/B

Comparer une mesure entre groupes

  • La pizza Margherita est appréciée différemment de la Pepperoni
  • La pizza Margherita est mangée à une vitesse différente de la Pepperoni

Différence entre conditions

Relation de la mesure dans les groupes

  • L'appréciation est liée à la vitesse de dégustation
  • Groupes Margherita et Pepperoni : l'appréciation de la pizza est liée à la vitesse de dégustation
  • Un groupe (Margherita) : l'appréciation de la Margherita est liée à sa vitesse de dégustation

Tendance entre mesures

Tests A/B en R

Passons à la pratique !

Tests A/B en R

Preparing Video For Download...