指標の設計と推定

Pythonで学ぶA/Bテスト

Moe Lotfy, PhD

Principal Data Science Manager

指標の種類

主要指標（ゴール/ノーススター）:
- 事業やミッションの成功を最もよく表す
細分化指標:
- ユーザー行動を最もよく説明
- 変化に敏感で活用しやすい
- サインアップ率:
  - = (clicks/visitors) X (signups/clicks)
計測/ガードレール指標:
- 本コースの範囲外

ノーススター指標の図

棒グラフと折れ線の指標図

指標の種類

定量的な分類

平均/パーセンタイル: 平均売上、ページ滞在時間の中央値
比率（割合）:
- サインアップ率: signups/total visitors
- ページ離脱率: page abandoners/total visitors
比（レシオ）:
- クリック率(CTR): clicks/page visits または clicks/ad impressions
- セッション当たり売上
指標を組み合わせて、より包括的な成功/失敗基準を作れる

指標の要件

重要でない差異に対して安定/堅牢
重要な変化に敏感
ログ制約内で測定可能
ゲーミング困難
- 派手な色
- ページ滞在時間

誇張された明るいCTA

Pythonでの指標推定

checkout.groupby('gender')['purchased'].mean()

gender
F    0.908056
M    0.780009
Name: purchased, dtype: float64

checkout[(checkout['browser']=='chrome')|(checkout['browser']=='safari')]\
    .groupby('gender')['order_value'].mean()

gender
F    29.814161
M    30.383431
Name: order_value, dtype: float64

Pythonでの指標推定

checkout.groupby('browser')[['order_value', 'purchased']].mean()

         order_value  purchased
browser                        
chrome     30.016625   0.839088
firefox    29.887491   0.851725
safari     30.119808   0.844337

Passons à la pratique !

Pythonで学ぶA/Bテスト