Припущення у перевірці гіпотез

Тестування гіпотез у Python

James Chapman

Curriculum Manager, DataCamp

Випадковість

Припущення

Вибірки — це випадкові підмножини більших сукупностей

Наслідок
  • Вибірка не репрезентує сукупність
Як перевірити
  • З'ясуйте, як зібрано ваші дані
  • Поспілкуйтеся зі збирачем даних/галузевим експертом

Лого з фразою «Responsibly Sourced Ingredients».

1 Техніки вибіркового відбору розглянуто в «Sampling in Python».
Тестування гіпотез у Python

Незалежність спостережень

Припущення

Кожне спостереження (рядок) у наборі даних є незалежним

Наслідок
  • Вища ймовірність помилок хибного негативу/позитиву
Як перевірити
  • Зрозумійте, як зібрано наші дані
Тестування гіпотез у Python

Великий розмір вибірки

Припущення

Вибірка достатньо велика, щоб зменшити невизначеність, тож діє центральна гранична теорема

Наслідок
  • Ширші довірчі інтервали
  • Вища ймовірність помилок хибного негативу/позитиву
Як перевірити
  • Залежить від тесту
Тестування гіпотез у Python

Великий розмір вибірки: t-тест

Одна вибірка
  • Щонайменше 30 спостережень у вибірці

$n \ge 30$

$n$: розмір вибірки

Дві вибірки
  • Щонайменше 30 спостережень у кожній вибірці

$n_{1} \ge 30, n_{2} \ge 30$

$n_{i}$: розмір вибірки для групи $i$

Парні вибірки
  • Щонайменше 30 пар спостережень між вибірками

Кількість рядків у наших даних $\ge 30$

ANOVA
  • Щонайменше 30 спостережень у кожній вибірці

$n_{i} \ge 30$ для всіх значень $i$

Тестування гіпотез у Python

Великий розмір вибірки: тести для часток

Одна вибірка
  • Кількість успіхів у вибірці не менша за 10

$n \times \hat{p} \ge 10$

  • Кількість невдач у вибірці не менша за 10

$n \times (1 - \hat{p}) \ge 10$

$n$: розмір вибірки
$\hat{p}$: частка успіхів у вибірці

Дві вибірки
  • Кількість успіхів у кожній вибірці не менша за 10

$n_{1} \times \hat{p}_{1} \ge 10$

$n_{2} \times \hat{p}_{2} \ge 10$

  • Кількість невдач у кожній вибірці не менша за 10

$n_{1} \times (1 - \hat{p}_{1}) \ge 10$

$n_{2} \times (1 - \hat{p}_{2}) \ge 10$

Тестування гіпотез у Python

Великий розмір вибірки: критерії хі-квадрат

  • Кількість успіхів у кожній групі не менша за 5

$n_{i} \times \hat{p}_{i} \ge 5$ для всіх значень $i$

  • Кількість невдач у кожній групі не менша за 5

$n_{i} \times (1 - \hat{p}_{i}) \ge 5$ для всіх значень $i$

$n_{i}$: розмір вибірки для групи $i$
$\hat{p}_{i}$: частка успіхів у вибірковій групі $i$

Тестування гіпотез у Python

Перевірка адекватності

Якщо бутстреп-розподіл не схожий на нормальний, припущення, ймовірно, не виконуються

  • Перевірте збір даних на випадковість, незалежність і розмір вибірки
Тестування гіпотез у Python

Давайте потренуємось!

Тестування гіпотез у Python

Preparing Video For Download...