A/Bテストのベストプラクティスと応用トピック導入
Pythonで学ぶA/Bテスト
Moe Lotfy, PhD
Principal Data Science Manager
ベストプラクティス
のぞき見を避ける
設計したサンプルサイズに達する前に結果をのぞき見して判断しない。多重比較と同様に誤差率が増えます。
曜日効果に配慮する
週末と平日で行動が異なる場合があるため、全体の行動を考慮します。
ベストプラクティス
シンプルさ/実現可能性
機能をすべて実装する必要がありますか?
ペイントドアテスト
分離
影響を特定するため、変数は1つずつ変更します。
応用トピック
多因子設計と交互作用
各変数の単独効果を測定
交互作用/相乗効果を把握
ベイズA/Bテスト
事前データを現在の実験に取り入れる
母集団パラメータを分布として扱う
結果の解釈が直感的
SUTVA違反とネットワーク効果
あるユーザーの割り当てが他者に影響
ソーシャルネットワークのA/Bで一般的
解決策の一つ:クラスタ割り当て
演習に進みましょう!
Pythonで学ぶA/Bテスト
Preparing Video For Download...