Допущения в проверке гипотез

Проверка гипотез в Python

James Chapman

Curriculum Manager, DataCamp

Случайность

Допущение

Выборки — случайные подмножества генеральных совокупностей

Последствие
  • Выборка не представляет генеральную совокупность
Как проверить
  • Разберитесь, как были собраны данные
  • Проконсультируйтесь с тем, кто собирал данные, или с экспертом

Логотип с надписью «Responsibly Sourced Ingredients».

1 Методы выборки рассматриваются в курсе «Sampling in Python».
Проверка гипотез в Python

Независимость наблюдений

Допущение

Каждое наблюдение (строка) в наборе данных независимо

Последствие
  • Повышенный риск ошибок ложноотрицательного/ложноположительного результата
Как проверить
  • Разберитесь, как были собраны данные
Проверка гипотез в Python

Достаточный объём выборки

Допущение

Выборка достаточно велика, чтобы снизить неопределённость и применить центральную предельную теорему

Последствие
  • Более широкие доверительные интервалы
  • Повышенный риск ошибок ложноотрицательного/ложноположительного результата
Как проверить
  • Зависит от используемого теста
Проверка гипотез в Python

Объём выборки: t-критерий

Одна выборка
  • Не менее 30 наблюдений в выборке

$n \ge 30$

$n$: объём выборки

Две выборки
  • Не менее 30 наблюдений в каждой выборке

$n_{1} \ge 30, n_{2} \ge 30$

$n_{i}$: объём выборки для группы $i$

Парные выборки
  • Не менее 30 пар наблюдений по всем выборкам

Количество строк в данных $\ge 30$

ANOVA
  • Не менее 30 наблюдений в каждой выборке

$n_{i} \ge 30$ для всех значений $i$

Проверка гипотез в Python

Объём выборки: тесты для долей

Одна выборка
  • Число успехов в выборке не менее 10

$n \times \hat{p} \ge 10$

  • Число неудач в выборке не менее 10

$n \times (1 - \hat{p}) \ge 10$

$n$: объём выборки
$\hat{p}$: доля успехов в выборке

Две выборки
  • Число успехов в каждой выборке не менее 10

$n_{1} \times \hat{p}_{1} \ge 10$

$n_{2} \times \hat{p}_{2} \ge 10$

  • Число неудач в каждой выборке не менее 10

$n_{1} \times (1 - \hat{p}_{1}) \ge 10$

$n_{2} \times (1 - \hat{p}_{2}) \ge 10$

Проверка гипотез в Python

Объём выборки: критерий хи-квадрат

  • Число успехов в каждой группе не менее 5

$n_{i} \times \hat{p}_{i} \ge 5$ для всех значений $i$

  • Число неудач в каждой группе не менее 5

$n_{i} \times (1 - \hat{p}_{i}) \ge 5$ для всех значений $i$

$n_{i}$: объём выборки для группы $i$
$\hat{p}_{i}$: доля успехов в группе выборки $i$

Проверка гипотез в Python

Проверка корректности

Если бутстрап-распределение не выглядит нормальным, допущения, скорее всего, нарушены

  • Пересмотрите сбор данных: проверьте случайность, независимость и объём выборки
Проверка гипотез в Python

Давайте потренируемся!

Проверка гипотез в Python

Preparing Video For Download...