Продолжение конвейера infer

Проверка гипотез в R

Richie Cotton

Data Evangelist at DataCamp

Повторение: гипотезы и набор данных

$H_{0}$: Доля любителей до 30 лет совпадает с долей любителей от 30 лет и старше.

$H_{A}$: Доля любителей до 30 лет отличается от доли любителей от 30 лет и старше.

alpha <- 0.1

stack_overflow_imbalanced %>% 
  count(hobbyist, age_cat, .drop = FALSE)

  hobbyist     age_cat    n
1       No At least 30    0
2       No    Under 30  191
3      Yes At least 30   15
4      Yes    Under 30 1025

Повторение: рабочий процесс

null_distn <- dataset %>% 
  specify() %>% 
  hypothesize() %>% 
  generate() %>% 
  calculate()

observed_stat <- dataset %>% 
  specify() %>% 
  calculate()

get_p_value(null_distn, observed_stat)

stack_overflow_imbalanced %>%
  specify(hobbyist ~ age_cat, success = "Yes") %>% 
  hypothesize(null = "independence")

Response: hobbyist (factor)
Explanatory: age_cat (factor)
Null Hypothesis: independence
# A tibble: 1,231 x 2
  hobbyist age_cat    
  <fct>    <fct>      
1 Yes      At least 30
2 Yes      At least 30
3 Yes      At least 30
4 Yes      Under 30   
5 Yes      At least 30
6 Yes      At least 30
7 No       Under 30   
# ... with 1,224 more rows

Мотивация для generate()

$H_{0}$: Доля любителей до 30 лет совпадает с долей любителей от 30 лет и старше.

Если $H_{0}$ верна, то

В каждой строке значение hobbyist могло бы встречаться с любой возрастной категорией с равной вероятностью.
Чтобы смоделировать это, можно переставить (перемешать) значения hobbyist, оставив возрастные категории неизменными.

stack_overflow_imbalanced

# A tibble: 1,231 x 2
  hobbyist age_cat    
  <fct>    <fct>      
1 Yes      At least 30
2 Yes      At least 30
3 Yes      At least 30
4 Yes      Under 30   
5 Yes      At least 30
6 Yes      At least 30
7 No       Under 30   
# ... with 1,224 more rows

bind_cols(
  stack_overflow_imbalanced %>% 
    select(hobbyist) %>% 
    slice_sample(prop = 1),
  stack_overflow_imbalanced %>% 
    select(age_cat)
)

# A tibble: 1,231 x 2
  hobbyist age_cat    
  <fct>    <fct>      
1 Yes      At least 30
2 Yes      At least 30
3 No       At least 30
4 No       Under 30   
5 Yes      At least 30
6 Yes      At least 30
7 Yes      Under 30   
# ... with 1,224 more rows

Генерация множества реплик

Слева показана двухколоночная прямоугольная сетка — результат шага specify. Справа от неё слово generate со стрелкой вправо. За стрелкой — три такие же двухколоночные сетки, представляющие реплики. Правый столбец каждой реплики идентичен правому столбцу исходного набора данных: объясняющая переменная не изменяется. Левый столбец каждой реплики отличается, отражая перестановку переменной отклика.

generate()

generate() генерирует смоделированные данные, отражающие нулевую гипотезу.

Для нулевых гипотез «independence» задайте type равным "permute".
Для нулевых гипотез «point» задайте type равным "bootstrap" или "simulate".

stack_overflow_imbalanced %>%
  specify(hobbyist ~ age_cat, success = "Yes") %>% 
  hypothesize(null = "independence") %>% 
  generate(reps = 5000, type = "permute")

Response: hobbyist (factor)
Explanatory: age_cat (factor)
Null Hypothesis: independence
# A tibble: 6,155,000 x 3
# Groups:   replicate [5,000]
  hobbyist age_cat     replicate
  <fct>    <fct>           <int>
1 Yes      At least 30         1
2 Yes      At least 30         1
3 Yes      At least 30         1
4 Yes      Under 30            1
5 Yes      At least 30         1
6 Yes      At least 30         1
7 Yes      Under 30            1
# ... with 6,154,993 more rows

Вычисление тестовой статистики

Показаны прямоугольные сетки исходного набора данных и реплик из шага generate. Под ними — слово «calculate», и под каждой репликой — стрелка вниз. Под каждой стрелкой — одна закрашенная ячейка, представляющая тестовую статистику. Все тестовые статистики реплик объединены рамкой с подписью «нулевое распределение».

calculate()

calculate() вычисляет распределение тестовых статистик, известное как нулевое распределение.

null_distn <- stack_overflow_imbalanced %>%
  specify(
    hobbyist ~ age_cat, 
    success = "Yes"
  ) %>%
  hypothesize(null = "independence") %>%
  generate(reps = 5000, type = "permute") %>%
  calculate(
    stat = "diff in props", 
    order = c("At least 30", "Under 30")
  )

# A tibble: 5,000 x 2
  replicate    stat
      <int>   <dbl>
1         1  0.0896
2         2  0.0896
3         3 -0.180 
4         4  0.157 
5         5  0.0896
6         6 -0.113 
7         7  0.0221
# ... with 4,993 more rows

¹ Страница справки ?calculate содержит список всех возможных тестовых статистик.

Визуализация нулевого распределения

visualize(null_distn)

Гистограмма нулевого распределения. Распределение скошено влево, и на ней видны девять различных значений.

null_distn %>% count(stat)

# A tibble: 9 x 2
     stat     n
    <dbl> <int>
1 -0.383      2
2 -0.315     22
3 -0.248     63
4 -0.180    246
5 -0.113    641
6 -0.0454  1132
7  0.0221  1453
8  0.0896  1063
9  0.157    378

Вычисление тестовой статистики на исходном наборе данных

Показаны прямоугольные сетки исходного набора данных и реплик, а также ячейки нулевого распределения из шага calculate. На этот раз под исходным набором данных также есть стрелка вниз, а под ней — закрашенная ячейка в рамке с подписью «наблюдаемая статистика».

Наблюдаемая статистика: specify() %>% calculate()

obs_stat <- stack_overflow_imbalanced %>%
  specify(hobbyist ~ age_cat, success = "Yes") %>%
  # hypothesize(null = "independence") %>%
  # generate(reps = 5000, type = "permute") %>%
  calculate(
    stat = "diff in props",
    order = c("At least 30", "Under 30")
  )

# A tibble: 1 x 1
   stat
  <dbl>
1 0.157

Визуализация нулевого распределения и наблюдаемой статистики

visualize(null_distn) +
  geom_vline(
    aes(xintercept = stat),
    data = observed_stat, 
    color = "red"
  )

Гистограмма нулевого распределения с дополнительной красной вертикальной линией в точке наблюдаемой статистики. Вертикальная линия проходит через крайний правый столбец гистограммы.

Получение p-значения

get_p_value(
  null_distn, obs_stat, 
  direction = "two sided"   # Not alternative = "two.sided"
)

# A tibble: 1 x 1
  p_value
    <dbl>
1   0.151

# A tibble: 1 x 6
  statistic chisq_df p_value alternative lower_ci upper_ci
      <dbl>    <dbl>   <dbl> <chr>          <dbl>    <dbl>
1      2.79        1  0.0949 two.sided    0.00718   0.0217

Давайте потренируемся!

Проверка гипотез в R