Множественное тестирование

Практика статистических вопросов для собеседований на Python

Conor Dewey

Data Scientist, Squarespace

Проблема множественных сравнений

  Пример с мармеладными бобами

1 xkcd
Практика статистических вопросов для собеседований на Python

Поправка на множественные сравнения

Graph pad

1 GraphPad
Практика статистических вопросов для собеседований на Python

Распространённые подходы

  • Поправка Бонферрони
  • Поправка Шидака
  • Пошаговые процедуры
  • Процедура Тьюки
  • Поправка Даннета
Практика статистических вопросов для собеседований на Python

Поправка Бонферрони

Формула поправки Бонферрони

1 Wikimedia
Практика статистических вопросов для собеседований на Python

Пример

from statsmodels.sandbox.stats.multicomp import multipletests
p_adjusted = multipletests(pvals, alpha=.05, method='bonferroni')
print(p_adjusted[0])
print(p_adjusted[1])

[ True False False False False]
[0.05 0.25 0.5  1.   1.  ]
Практика статистических вопросов для собеседований на Python

Побочные эффекты

Побочные эффекты тестирования

1 Что не так с поправками Бонферрони
Практика статистических вопросов для собеседований на Python

Итоги

  • Проблема множественных сравнений
  • Распространённые подходы к поправке
  • Поправка Бонферрони
Практика статистических вопросов для собеседований на Python

Подготовимся к собеседованию!

Практика статистических вопросов для собеседований на Python

Preparing Video For Download...