Puissance et taille d'échantillon

Tests A/B en R

Lauryn Burleigh

Data Scientist

Définition de la puissance

Probabilité de rejeter l'hypothèse nulle quand elle est fausse
Ne pas commettre d'erreur de type II (ne pas rejeter la nulle)
Idéal : faible taux d'erreur de type II, forte puissance

Une distribution normale de l'hypothèse nulle à gauche et de l'hypothèse alternative à droite, avec chevauchement partiel. Une ligne horizontale en pointillés indique la p-value où les distributions se chevauchent. À gauche de la ligne sous l'alternative : l'erreur de type II ; à droite : la puissance.

Atouts de la puissance

Utilité d'un test

Rejeter l'hypothèse nulle quand il le faut

Puissance

Déterminer la taille d'échantillon nécessaire
Vérifier la fiabilité des résultats

Taille d'échantillon

Taille d'effet estimée
Puissance visée (souvent 0,8)
Alpha (souvent 0,05)

Distributions qui se chevauchent pour diverses tailles d'échantillon ; les petits échantillons ont une distribution plus large et exigent une valeur t plus élevée pour la significativité.

library(pwr)
pwr.t.test(d = .8, power = 0.8,

           sig.level = 0.05,

           type = "one.sample",

           alternative = "two.sided")

     One-sample t test power calculation 
              n = 14.30276
              d = 0.8
      sig.level = 0.05
          power = 0.8
    alternative = two.sided

Taille d'effet

Taille d'effet attendue
Moyenne du groupe témoin − moyenne du groupe expérimental

Une distribution normale de l'hypothèse nulle à gauche et de l'hypothèse alternative à droite, à chevauchement partiel. Une ligne horizontale en pointillés indique la p-value où les distributions se chevauchent. À gauche de la ligne sous l'alternative : l'erreur de type II ; à droite : la puissance. Une barre rouge montre que la taille d'effet est l'écart entre les pics des deux distributions.

Avant l'analyse

Trouver la taille d'effet avec :

Informations contextuelles
Données préliminaires

Après l'analyse

Trouver la taille d'effet avec :

Jeu de données complet

Analyse de puissance du test

Plus de puissance = plus de chances de rejeter correctement l'hypothèse nulle

Trois éléments requis :

Taille d'échantillon
Taille d'effet
Alpha

library(pwr)
pwr.t.test(n = 20, sig.level = 0.045, 
           d = .81, type = "one.sample")

     One-sample t test power calculation 
              n = 20
              d = 0.81
      sig.level = 0.045
          power = 0.9223189
    alternative = two.sided

Distributions de pizzas

Distributions similaires

Pas de différence significative

Deux histogrammes, Pepperoni en rose et Cheese en bleu, avec les valeurs sur l'axe des x et leurs effectifs sur l'axe des y, les pics étant proches sur l'axe des x.

Distributions différentes

Différence probablement significative

Deux histogrammes, Pepperoni en rose et Cheese en bleu, avec les valeurs sur l'axe des x et leurs effectifs sur l'axe des y, les pics étant éloignés sur l'axe des x.

Hypothèses pour les pizzas

Distribution de l'hypothèse nulle en rose avec une différence moyenne de 0 et de l'hypothèse alternative en bleu avec une différence moyenne de 3,5 ; la valeur critique de rejet est une ligne verticale à 1,64.

Similaires : à gauche de la valeur de rejet
Différentes : à droite de la valeur de rejet

library(ggplot2)
ggplot(HypDists, 
       aes(x = Time, fill = Hypothesis)) + 
  geom_histogram() + 
  xlab("Difference Between Groups") + 
  geom_vline(xintercept = 1.64)

Puissance : pizzas

Similaires : à gauche de la valeur de rejet
Différentes : à droite de la valeur de rejet
Puissance : probabilité de ne pas conclure à tort à des distributions identiques des garnitures (erreur de type II)

library(ggplot2)
ggplot(HypDists, 
       aes(x = Time, fill = Hypothesis)) + 
  geom_histogram() + 
  xlab("Difference Between Groups") + 
  geom_vline(xintercept = 1.64)

Passons à la pratique !

Tests A/B en R