実験計画：テストパラメータの設定

Pythonで学ぶA/Bテスト

Moe Lotfy, PhD

Principal Data Science Manager

分布パラメータ

d は正規分布に従う
観測差 d が起こりにくい場合:
- 帰無仮説を棄却

帰無仮説 vs 対立仮説の分布

帰無仮説と対立仮説の分布の図示

設計パラメータと誤りの種類

検出力 (1- $\beta$)
- $\beta$ = 第II種の誤り = 偽陰性
- 一般に 80% に設定
最小検出可能効果 (MDE)
- 捉えたい最小の差

誤りの種類マトリクス

実験パラメータの図示

設計パラメータと誤りの種類

有意水準 $\alpha$
- $\alpha$ = 第I種の誤り = 偽陽性
- 一般に 5% に設定
p 値
- 帰無仮説が真と仮定したときの結果が得られる確率。
- p 値 < $\alpha$ のとき
  - 帰無仮説を棄却
- p 値 > $\alpha$ のとき
  - 帰無仮説は棄却しない

誤りの種類マトリクス

実験パラメータの図示

実験パラメータのたとえ

統計的検出力とパラメータのたとえ

店にいる時間 = サンプルサイズ/実験期間
ポテトチップスの袋の大きさ = 効果量/MDE
店の清潔さ・整理状態 = データ分散

演習に進みましょう！

Pythonで学ぶA/Bテスト

Preparing Video For Download...