A/Bテストのベストプラクティスと応用トピック導入

Pythonで学ぶA/Bテスト

Moe Lotfy, PhD

Principal Data Science Manager

ベストプラクティス

のぞき見を避ける

  • 設計したサンプルサイズに達する前に結果をのぞき見して判断しない。多重比較と同様に誤差率が増えます。

曜日効果に配慮する

  • 週末と平日で行動が異なる場合があるため、全体の行動を考慮します。
Pythonで学ぶA/Bテスト

ベストプラクティス

  • シンプルさ/実現可能性
    • 機能をすべて実装する必要がありますか?
    • ペイントドアテスト
  • 分離
    • 影響を特定するため、変数は1つずつ変更します。
Pythonで学ぶA/Bテスト

応用トピック

  • 多因子設計と交互作用
    • 各変数の単独効果を測定
    • 交互作用/相乗効果を把握
  • ベイズA/Bテスト
    • 事前データを現在の実験に取り入れる
    • 母集団パラメータを分布として扱う
    • 結果の解釈が直感的
  • SUTVA違反とネットワーク効果
    • あるユーザーの割り当てが他者に影響
    • ソーシャルネットワークのA/Bで一般的
    • 解決策の一つ:クラスタ割り当て
Pythonで学ぶA/Bテスト

演習に進みましょう!

Pythonで学ぶA/Bテスト

Preparing Video For Download...