Бутстрэппинг
Основы статистического вывода на Python
Paul Savala
Assistant Professor of Mathematics
Бутстрэппинг
- Бутстрэппинг = выборка с возвращением
- Случайно выберите наблюдение
- Запишите его
- Верните обратно в данные (замена)
- Повторите
- Бутстрэпная выборка = выборка, полученная методом бутстрэппинга
Непараметрический доверительный интервал
- Непараметрический аналог
stats.norm.interval- Выборка с возвращением
- Вычислите тестовую статистику
- Запишите результат
- Повторите
- Формирует эмпирическое распределение
salaries_df['Years of Employment']
[6, 11, 14, 3, 2, ...]
sample_1 = salaries_df['Years of Employment'].sample(n=10)print(max(sample_1) - min(sample_1))
7
- Повторите этот процесс много раз
- Средние 95% результатов = 95% бутстрэпный доверительный интервал
# Statistic function def max_min(x): return max(x) - min(x)# Data as a tuple data = (salaries_df['Years of Employment'], )bootstrap_ci = stats.bootstrap(data, max_min, vectorized=False, n_resamples=1000)print(bootstrap_ci)
BootstrapResult(confidence_interval=ConfidenceInterval(low=33.0, high=38.0),
standard_error=1.3843971812870597)
Нормальные доверительные интервалы
- Требуют нормального распределения данных
- Вычисляются только на основе среднего и стандартной ошибки
- Выводы корректны только для нормальных данных
- Вычисляются очень быстро
Бутстрэпные доверительные интервалы
- Применимы к любому распределению
- Вычисляются непосредственно по данным с помощью ресэмплинга
- Выводы корректны для любых данных
- Вычисляются значительно медленнее
Применение бутстрэппинга
- При работе с ненормально распределёнными данными
- Ранговые данные
- Данные с асимметрией
- Когда нормальные доверительные интервалы дают сомнительные значения
- Применимы к любой статистике
Давайте потренируемся!
Основы статистического вывода на Python
