Проверки корректности: внутренняя валидность
A/B-тестирование в Python
Moe Lotfy, PhD
Principal Data Science Manager
Несоответствие выборочного соотношения (SRM)
- Несоответствие выборочного соотношения (SRM)
- Распределение по вариантам отклоняется от плана
- Критерий согласия хи-квадрат
Пример SRM на Python
# Calculate the unique IDs per variant
AdSmart.groupby('experiment')['auction_id'].nunique()
experiment
control 4071
exposed 4006
# Assign the unqiue counts to each variant
control_users=AdSmart[AdSmart['experiment']=='control']['auction_id'].nunique()
exposed_users=AdSmart[AdSmart['experiment']=='exposed']['auction_id'].nunique()
total_users=control_users+exposed_users
# Calculate allocation ratios per variant
control_perc = control_users / total_users
exposed_perc = exposed_users / total_users
print("Percentage of users in the Control group:",100*round(control_perc,5),"%")
print("Percentage of users in the Exposed group:",100*round(exposed_perc,5),"%")
Percentage of users in the Control group: 50.402 %
Percentage of users in the Exposed group: 49.598 %
1 Набор данных Adsmart на Kaggle: https://www.kaggle.com/datasets/osuolaleemmanuel/ad-ab-testing
Пример SRM на Python
# Creat lists of observed and expected counts per variant
observed = [ control_users, exposed_users ]
expected = [ total_users/2, total_users/2 ]
# Import chisquare from scipy library
from scipy.stats import chisquare
# Run chisquare test on observed and expected lists
chi = chisquare(observed, f_exp=expected)
# Print test results and interpretation
print(chi)
if chi[1] < 0.01:
print("SRM may be present")
else:
print("SRM likely not present")
Power_divergenceResult(statistic=0.5230902562832735, pvalue=0.4695264353014863)
SRM likely not present
1 Набор данных Adsmart на Kaggle: https://www.kaggle.com/datasets/osuolaleemmanuel/ad-ab-testing
Поиск причин SRM
Распространённые причины SRM:$^1$
- Назначение: неверное разбиение на группы или ошибки функции рандомизации
- Выполнение: задержка запуска варианта или скорости развёртывания
- Логирование данных: задержки записи или фильтрация ботов
- Вмешательство: исследователь приостанавливает вариант
1 Diagnosing Sample Ratio Mismatch in Online Controlled Experiments: A Taxonomy and Rules of Thumb for Practitioners
A/A-тесты
- A/A-тест
- Предъявляет одинаковый опыт двум группам пользователей
- Выявляет ошибки в настройке эксперимента
- Статистически значимых различий между метриками нет
- Ложноположительные результаты всё равно возможны с вероятностью $\alpha$ (5% случаев)
- Обнаруживает дисбаланс в распределениях между группами (например, браузеры, устройства и т. д.)
Пример проверки баланса распределений на Python
- Сбалансированное распределение браузеров
- Тест валиден
checkout.groupby('checkout_page')['browser'].value_counts(normalize=True)
checkout_page browser
A chrome 0.341333
safari 0.332000
firefox 0.326667
B safari 0.352000
firefox 0.325000
chrome 0.323000
C safari 0.346000
chrome 0.330000
firefox 0.324000
- Несбалансированное распределение браузеров
- Тест невалиден
AdSmart.groupby('experiment')['browser'].value_counts(normalize=True)
experiment browser
control Chrome Mobile 0.591992
Facebook 0.137804
Samsung Internet 0.120855
Chrome Mobile WebView 0.071727
Mobile Safari 0.060427
Chrome Mobile iOS 0.008352
Mobile Safari UI/WKWebView 0.007369
exposed Chrome Mobile 0.535197
Chrome Mobile WebView 0.298802
Samsung Internet 0.082876
Facebook 0.050674
Mobile Safari 0.022716
Chrome Mobile iOS 0.004244
1 Набор данных Adsmart на Kaggle: https://www.kaggle.com/datasets/osuolaleemmanuel/ad-ab-testing
Давайте потренируемся!
A/B-тестирование в Python
