Аналіз потужності: вибірка та розмір ефекту

Експериментальний дизайн у Python

James Chapman

Curriculum Manager, DataCamp

Вступ до розміру ефекту

 

  • Розмір ефекту: кількісно показує різницю між двома групами

 

  • d Коена: стандартна міра розміру ефекту

Дві рослини з різними добривами виросли на різну висоту. Стрілка показує різницю у висоті як розмір ефекту.

Експериментальний дизайн у Python

Набір даних: залученість у відеоіграх

  • 60 учасників
    • 30 випадково призначені до Action
    • 30 випадково призначені до Puzzle
video_game_data.head()

   Game_Genre  Engagement_Time
0      Action              5.1
1      Puzzle              4.4
2      Action              7.2
3      Action              5.3
4      Puzzle              2.7
Експериментальний дизайн у Python

Огляд обчислення потужності

  • Потужність: імовірність правильно відхилити хибну нульову гіпотезу: ($1 - \beta$)

    • У діапазоні від 0 до 1 (наскільки впевнено можна виявити справжній ефект)

  • Припустімо effect_size=1 за історичними даними

from statsmodels.stats.power import TTestIndPower
power_analysis = TTestIndPower()

power = power_analysis.solve_power(effect_size=1, nobs1=30, alpha=0.05)
print(power)

0.9677082519951168
Експериментальний дизайн у Python

Формула d Коена

def cohens_d(group1, group2):

    diff = group1.mean() - group2.mean()
    n1, n2 = len(group1), len(group2)
    var1, var2 = group1.var(), group2.var()

    pooled_std = np.sqrt(((n1 - 1) * var1 + (n2 - 1) * var2) / (n1 + n2 - 2))

    d = diff / pooled_std
    return d

Об'єднане стандартне відхилення: $\sigma_{p} = \sqrt{\frac{(n_1 - 1) \times \text{var}_1 + (n_2 - 1) \times \text{var}_2}{n_1 + n_2 - 2}}$

Експериментальний дизайн у Python

d Коена для даних про відеоігри

action_times = video_game_data[video_game_data['Game_Genre'] == 'Action']['Engagement_Time']
puzzle_times = video_game_data[video_game_data['Game_Genre'] == 'Puzzle']['Engagement_Time']


d = cohens_d(action_times, puzzle_times)

print(f"Cohen's d: {d}")

Cohen's d: 1.161524633221452
Експериментальний дизайн у Python

Як пов'язані розмір вибірки та потужність

  • Компроміс між потужністю та обсягом вибірки
  • Більші вибірки підвищують потужність дослідження

Розмір вибірки vs. Статистична потужність.png

1 https://grabngoinfo.com/power-analysis-for-sample-size-using-python/
Експериментальний дизайн у Python

Розрахунок розміру вибірки в контексті

  • Змінна відповіді: engagement_time
from statsmodels.stats.power import TTestIndPower
power_analysis = TTestIndPower()
required_n = power_analysis.solve_power(effect_size=d, alpha=0.05, 
                                        power=0.99, ratio=1)
print(required_n)

28.237827708942007
Експериментальний дизайн у Python

Візуалізація потреб у розмірі вибірки

import numpy as np
import matplotlib.pyplot as plt
effect_sizes = np.linspace(0.1, 0.8, 8)
sample_sizes = [power_analysis.solve_power(effect_size=es, alpha=0.05, power=0.99, 
                                           ratio=1) for es in effect_sizes]

plt.figure(figsize=(10, 6))
plt.plot(effect_sizes, sample_sizes, 'o-')
plt.title('Effect Size vs. Required Sample Size')
plt.xlabel('Effect Size (Cohen\'s d)')
plt.ylabel('Required Sample Size')
plt.grid(True)
plt.show()
Експериментальний дизайн у Python

Візуалізація потреб у розмірі вибірки

Розмір ефекту vs. Потрібний розмір вибірки.png

Експериментальний дизайн у Python

Давайте потренуємось!

Експериментальний дизайн у Python

Preparing Video For Download...