Tests A/B et dispositif

Tests A/B en R

Lauryn Burleigh

Data Scientist

Tests A/B

  • Technique statistique
  • Décisions guidées par les données
  • Tester des différences et des relations
  • Idéal pour :
    • Optimiser des campagnes marketing, tester des sites et des publicités

Dans ce cours :

  • Analyser des données A/B
  • Prendre des décisions et faire des prédictions

 

Illustration d'un test A/B montrant deux tablettes semblables et des pourcentages différents pour chacune.

Tests A/B en R

Dispositif A/B

  • Impact d'une condition :
    • Temps pour manger une pizza fromage ou pepperoni

 

  • Groupe A : pizza fromage
  • Groupe B : pizza pepperoni
  • Plan inter-sujets

Un sujet contribue à un groupe.

Tests A/B en R

Groupe témoin

 

 

Groupe A Les amis Charlie, Sam et Hunter choisissent la pizza fromage, devenant le groupe A.

  • Groupe témoin

 

 

Groupe B Les amis Jessie, Skylar et Elliot choisissent la pizza pepperoni, devenant le groupe B.

  • Groupe expérimental
Tests A/B en R

Organisation d'un data frame

Large format

  • Groupes dans des colonnes distinctes
  • NA à cause du plan inter-sujets
ID Fromage Pepperoni
01 5.21 NA
02 3.75 NA
03 6.32 NA
04 NA 6.53
05 NA 7.01
06 NA 6.98

Long format

  • Groupes indiqués dans une seule colonne
  • Format recommandé
ID Garniture Temps
01 Fromage 5.21
02 Fromage 3.75
03 Fromage 6.32
04 Pepperoni 7.64
05 Pepperoni 7.98
06 Pepperoni 5.62
Tests A/B en R

Large vers long

ID Fromage Pepperoni
01 5.21 NA
02 3.75 NA
03 NA 6.53
04 NA 7.01
ID Garniture Temps
01 Fromage 5.21
02 Fromage 3.75
03 Pepperoni 7.64
04 Pepperoni 7.98 
library(tidyr)

longdf <- Pizza %>% pivot_longer(cols = c("Cheese", "Pepperoni"),

          names_to = "Topping", values_to = "Time") %>%

          na.omit()
Tests A/B en R

Visualiser les regroupements

library(ggplot2)

ggplot(Pizza, aes(x = Time,
                  fill = Topping)) +
geom_histogram()

Histogramme de la distribution des vitesses de dégustation : pepperoni plus large et fromage plus étroite.

Tests A/B en R

Séparer les regroupements

library(ggplot2)

ggplot(Pizza, aes(x = Time,
                  fill = Topping)) + 

geom_histogram() + facet_grid(Topping~.)

Histogrammes : vitesse pour pepperoni (moyenne 7) et pour fromage (moyenne 5).

Tests A/B en R

Hypothèses de test A/B

Comparer une mesure entre groupes

  • La pizza fromage est appréciée différemment de la pizza pepperoni
  • La pizza fromage se mange à une vitesse différente de la pizza pepperoni

Différence entre conditions

Relation d'une mesure dans les groupes

  • L'appréciation est liée à la vitesse de dégustation
  • Dans fromage et pepperoni : l'appréciation est liée à la vitesse de dégustation
  • Dans un groupe (fromage) : l'appréciation de la pizza fromage est liée à la vitesse de dégustation de celle-ci

Tendance entre mesures

Tests A/B en R

Passons à la pratique !

Tests A/B en R

Preparing Video For Download...