P-значения, альфа и ошибки

Планирование экспериментов в Python

James Chapman

Curriculum Manager, DataCamp

P-значения и альфа

P-значения: вероятность наблюдать наши данные при истинной нулевой гипотезе
$\alpha$: порог, при котором результаты считаются статистически значимыми
P-значение $\le \alpha$: отклоняем нулевую гипотезу в пользу альтернативной

Доска для нард

Набор данных: урожайность культур

crop_yields.head()

  Fertilizer_Type  Crop_Yield
0         Organic      26.225
1       Synthetic      17.452
2         Organic      22.283
3       Synthetic      23.548
4       Synthetic      24.138

Визуализация данных

import seaborn as sns
sns.displot(data=crop_data, x="Crop_Yield", hue="Fertilizer_Type", kind="kde")

Сравнительный график оценки плотности ядра

Проведение t-теста для независимых выборок

$\alpha = 0.05$

from scipy.stats import ttest_ind
organic_yield = crop_yields[crop_yields['Fertilizer_Type'] == 'Organic']
['Crop_Yield']
synthetic_yield = crop_yields[crop_yields['Fertilizer_Type'] == 'Synthetic']
['Crop_Yield']
t_stat, p_val = ttest_ind(organic_yield, synthetic_yield)
print(p_val)

1.8496748715743899e-209

Ошибки в статистических экспериментах

Таблица статистических ошибок: ошибка I рода — ложное отклонение истинной нулевой гипотезы; ошибка II рода — отказ отклонить ложную нулевую гипотезу.

Ошибка I рода: ложноположительный результат — отклонение истинной нулевой гипотезы
Ошибка II рода: ложноотрицательный результат — не удаётся отклонить ложную нулевую гипотезу

Подробнее об альфа

Распространённые значения: 0,05; 0,01 и 0,10
- Соответствуют 5%, 1% и 10% вероятности ошибки I рода
Выбор $\alpha$
- Зависит от контекста исследования
- Определяется допустимым уровнем ошибки I рода
Соглашения:
- 0,05 (5%): наиболее распространённое значение
- 0,01 (1%): более строгий критерий — когда цена ошибки I рода высока
- 0,10 (10%): применяется в предварительных исследованиях с высокой допустимой погрешностью

Давайте потренируемся!

Планирование экспериментов в Python