Критерий хи-квадрат независимости

Проверка гипотез в R

Richie Cotton

Data Evangelist at DataCamp

Возвращаемся к тесту пропорций

library(infer)
stack_overflow %>% 
  prop_test(
    hobbyist ~ age_cat,
    order = c("At least 30", "Under 30"),
    alternative = "two-sided",
    correct = FALSE
  )

# A tibble: 1 x 6
  statistic chisq_df   p_value alternative lower_ci upper_ci
      <dbl>    <dbl>     <dbl> <chr>          <dbl>    <dbl>
1      17.8        1 0.0000248 two.sided     0.0605    0.165

Независимость переменных

Результат предыдущей проверки гипотезы: есть свидетельства связи между переменными hobbyist и age_cat.

Если доля успехов в зависимой переменной одинакова во всех категориях объясняющей переменной, то две переменные статистически независимы.

¹ Зависимая и объясняющая переменные определены в курсе «Introduction to Regression in R», глава 1.

Удовлетворённость работой и возрастная категория

stack_overflow %>% 
  count(age_cat)

# A tibble: 2 x 2
  age_cat         n
  <chr>       <int>
1 At least 30  1050
2 Under 30     1211

stack_overflow %>% 
  count(job_sat)

# A tibble: 5 x 2
  job_sat                   n
  <fct>                 <int>
1 Very dissatisfied       159
2 Slightly dissatisfied   342
3 Neither                 201
4 Slightly satisfied      680
5 Very satisfied          879

Формулировка гипотез

$H_{0}$: Возрастные категории не зависят от уровня удовлетворённости работой.

$H_{A}$: Возрастные категории зависят от уровня удовлетворённости работой.

alpha <- 0.1

Тестовая статистика обозначается $\chi^{2}$.
При условии независимости: насколько наблюдаемые результаты отклоняются от ожидаемых?

Разведочная визуализация: пропорциональная столбчатая диаграмма

ggplot(stack_overflow, aes(job_sat, fill = age_cat)) +
  geom_bar(position = "fill") +
  ylab("proportion")

Пропорциональная столбчатая диаграмма удовлетворённости работой с разбивкой по возрастным категориям

Критерий хи-квадрат независимости с помощью `chisq_test()`

library(infer)
stack_overflow %>% 
  chisq_test(age_cat ~ job_sat)

# A tibble: 1 x 3
  statistic chisq_df p_value
      <dbl>    <int>   <dbl>
1      5.55        4   0.235

Степени свободы:

$(\text{No. of response categories} - 1) \times (\text{No. of explanatory categories} - 1)$

$(2 - 1) * (5 - 1) = 4$

Что будет, если поменять переменные местами?

ggplot(stack_overflow, aes(age_cat, fill = job_sat)) +
  geom_bar(position = "fill") +
  ylab("proportion")

Пропорциональная столбчатая диаграмма возрастных категорий с разбивкой по удовлетворённости работой

Хи-квадрат в обе стороны

library(infer)
stack_overflow %>% 
  chisq_test(age_cat ~ job_sat)

# A tibble: 1 x 3
  statistic chisq_df p_value
      <dbl>    <int>   <dbl>
1      5.55        4   0.235

Правильно

Независимы ли переменные X и Y?

library(infer)
stack_overflow %>% 
  chisq_test(job_sat ~ age_cat)

# A tibble: 1 x 3
  statistic chisq_df p_value
      <dbl>    <int>   <dbl>
1      5.55        4   0.235

Неправильно

Независима ли переменная X от переменной Y?

Направление и хвосты критерия

args(chisq_test)

function (x, formula, response = NULL, explanatory = NULL, ...)

Наблюдаемые и ожидаемые частоты в квадрате не могут быть отрицательными.
Критерий хи-квадрат почти всегда является правосторонним. $^{1}$

¹ Левосторонний критерий хи-квадрат применяется в статистической криминалистике для обнаружения подозрительно хорошего соответствия, которое может свидетельствовать о фальсификации данных. Критерии хи-квадрат для дисперсии могут быть двусторонними. Однако это нишевые применения.

Давайте потренируемся!

Проверка гипотез в R