Poursuivre le pipeline infer

Tests d'hypothèse en R

Richie Cotton

Data Evangelist at DataCamp

Rappel : hypothèses et jeu de données

$H_{0}$ : La proportion d'adeptes de passe-temps de moins de 30 ans est la même que celle des 30 ans et plus.

$H_{A}$ : La proportion d'adeptes de passe-temps de moins de 30 ans diffère de celle des 30 ans et plus.

alpha <- 0.1

stack_overflow_imbalanced %>% 
  count(hobbyist, age_cat, .drop = FALSE)

  hobbyist     age_cat    n
1       No At least 30    0
2       No    Under 30  191
3      Yes At least 30   15
4      Yes    Under 30 1025

Rappel : déroulement

null_distn <- dataset %>% 
  specify() %>% 
  hypothesize() %>% 
  generate() %>% 
  calculate()

observed_stat <- dataset %>% 
  specify() %>% 
  calculate()

get_p_value(null_distn, observed_stat)

stack_overflow_imbalanced %>%
  specify(hobbyist ~ age_cat, success = "Yes") %>% 
  hypothesize(null = "independence")

Response: hobbyist (factor)
Explanatory: age_cat (factor)
Null Hypothesis: independence
# A tibble: 1,231 x 2
  hobbyist age_cat    
  <fct>    <fct>      
1 Yes      At least 30
2 Yes      At least 30
3 Yes      At least 30
4 Yes      Under 30   
5 Yes      At least 30
6 Yes      At least 30
7 No       Under 30   
# ... with 1,224 more rows

Motiver generate()

$H_{0}$ : La proportion d'adeptes de passe-temps de moins de 30 ans est la même que celle des 30 ans et plus.

Si $H_{0}$ est vraie, alors :

À chaque ligne, la valeur hobbyist pourrait apparaître avec l'une ou l'autre des catégories d'âge avec probabilité égale.
Pour le simuler, on peut permuter (mélanger) les valeurs de hobbyist tout en gardant les catégories d'âge fixes.

stack_overflow_imbalanced

# A tibble: 1,231 x 2
  hobbyist age_cat    
  <fct>    <fct>      
1 Yes      At least 30
2 Yes      At least 30
3 Yes      At least 30
4 Yes      Under 30   
5 Yes      At least 30
6 Yes      At least 30
7 No       Under 30   
# ... with 1,224 more rows

bind_cols(
  stack_overflow_imbalanced %>% 
    select(hobbyist) %>% 
    slice_sample(prop = 1),
  stack_overflow_imbalanced %>% 
    select(age_cat)
)

# A tibble: 1,231 x 2
  hobbyist age_cat    
  <fct>    <fct>      
1 Yes      At least 30
2 Yes      At least 30
3 No       At least 30
4 No       Under 30   
5 Yes      At least 30
6 Yes      At least 30
7 Yes      Under 30   
# ... with 1,224 more rows

Générer de nombreux réplicats

generate()

generate() génère des données simulées conformes à l'hypothèse nulle.

Pour une hypothèse nulle « independence », définissez type à "permute".
Pour une hypothèse nulle « point », utilisez "bootstrap" ou "simulate" pour type.

stack_overflow_imbalanced %>%
  specify(hobbyist ~ age_cat, success = "Yes") %>% 
  hypothesize(null = "independence") %>% 
  generate(reps = 5000, type = "permute")

Response: hobbyist (factor)
Explanatory: age_cat (factor)
Null Hypothesis: independence
# A tibble: 6,155,000 x 3
# Groups:   replicate [5,000]
  hobbyist age_cat     replicate
  <fct>    <fct>           <int>
1 Yes      At least 30         1
2 Yes      At least 30         1
3 Yes      At least 30         1
4 Yes      Under 30            1
5 Yes      At least 30         1
6 Yes      At least 30         1
7 Yes      Under 30            1
# ... with 6,154,993 more rows

Calculer la statistique de test

Les grilles rectangulaires du jeu de données original et des réplicats, vues à l'étape de génération, sont affichées. En dessous, le mot « calculate » et, sous chaque réplicat, une flèche vers le bas. Sous chaque flèche, une case ombrée représentant une statistique de test. Un encadré regroupe toutes ces statistiques et est étiqueté « null distribution ».

calculate()

calculate() calcule une distribution de statistiques de test appelée la « null distribution ».

null_distn <- stack_overflow_imbalanced %>%
  specify(
    hobbyist ~ age_cat, 
    success = "Yes"
  ) %>%
  hypothesize(null = "independence") %>%
  generate(reps = 5000, type = "permute") %>%
  calculate(
    stat = "diff in props", 
    order = c("At least 30", "Under 30")
  )

# A tibble: 5,000 x 2
  replicate    stat
      <int>   <dbl>
1         1  0.0896
2         2  0.0896
3         3 -0.180 
4         4  0.157 
5         5  0.0896
6         6 -0.113 
7         7  0.0221
# ... with 4,993 more rows

¹ La page d'aide ?calculate énumère toutes les statistiques de test possibles.

Visualiser la null distribution

visualize(null_distn)

Histogramme de la null distribution. Il est asymétrique à gauche et comporte neuf valeurs distinctes.

null_distn %>% count(stat)

# A tibble: 9 x 2
     stat     n
    <dbl> <int>
1 -0.383      2
2 -0.315     22
3 -0.248     63
4 -0.180    246
5 -0.113    641
6 -0.0454  1132
7  0.0221  1453
8  0.0896  1063
9  0.157    378

Calculer la statistique sur le jeu de données original

Les grilles du jeu de données original et des réplicats, ainsi que les cellules de la null distribution vues à l'étape calculate, sont affichées. Cette fois, une flèche descend aussi sous le jeu de données original, menant à une case ombrée. Cette case est encadrée et étiquetée « observed statistic ».

Statistique observée : specify() %>% calculate()

obs_stat <- stack_overflow_imbalanced %>%
  specify(hobbyist ~ age_cat, success = "Yes") %>%
  # hypothesize(null = "independence") %>%
  # generate(reps = 5000, type = "permute") %>%
  calculate(
    stat = "diff in props",
    order = c("At least 30", "Under 30")
  )

# A tibble: 1 x 1
   stat
  <dbl>
1 0.157

Comparer la null distribution et la statistique observée

visualize(null_distn) +
  geom_vline(
    aes(xintercept = stat),
    data = observed_stat, 
    color = "red"
  )

L'histogramme de la null distribution, avec une ligne verticale rouge à la statistique observée. La ligne est au-dessus de la barre la plus à droite.

Obtenir la valeur p

get_p_value(
  null_distn, obs_stat, 
  direction = "two sided"   # Not alternative = "two.sided"
)

# A tibble: 1 x 1
  p_value
    <dbl>
1   0.151

# A tibble: 1 x 6
  statistic chisq_df p_value alternative lower_ci upper_ci
      <dbl>    <dbl>   <dbl> <chr>          <dbl>    <dbl>
1      2.79        1  0.0949 two.sided    0.00718   0.0217

Passons à la pratique !

Tests d'hypothèse en R