指標設計與估計

Python 的 A/B 測試

Moe Lotfy, PhD

Principal Data Science Manager

指標類型

 

  • 主要指標（目標/北極星）:
    • 最能描述企業或任務的成功
  • 細部指標：
    • 最能解釋使用者行為
    • 更敏感且可付諸行動
    • 註冊率：
      • = (clicks/visitors) X (signups/clicks)
  • 監測/防護欄指標：
    • 不在本課程範圍內

北極星指標示意圖

長條圖與折線圖指標示意

Python 的 A/B 測試

指標類型

量化分類

  • 平均/百分位數：平均銷售額、頁面停留時間中位數
  • 比例：
    • 註冊率：signups/total visitors
    • 放棄頁面率：page abandoners/total visitors
  • 比率：
    • 點擊率（CTR）：clicks/page visits 或 clicks/ad impressions
    • 每次工作階段營收
  • 可組合多個指標，形成更完整的成敗標準
Python 的 A/B 測試

指標需求

  • 對不重要差異要穩定/具韌性

  • 對重要變化要敏感

  • 在記錄限制下可量測

  • 不易被操弄

    • 醒目顏色
    • 頁面停留時間

誇張醒目的行動呼籲

Python 的 A/B 測試

以 Python 估計指標

checkout.groupby('gender')['purchased'].mean()

gender
F    0.908056
M    0.780009
Name: purchased, dtype: float64

checkout[(checkout['browser']=='chrome')|(checkout['browser']=='safari')]\
    .groupby('gender')['order_value'].mean()

gender
F    29.814161
M    30.383431
Name: order_value, dtype: float64
Python 的 A/B 測試

以 Python 估計指標

checkout.groupby('browser')[['order_value', 'purchased']].mean()

         order_value  purchased
browser                        
chrome     30.016625   0.839088
firefox    29.887491   0.851725
safari     30.119808   0.844337
Python 的 A/B 測試

一起來練習吧！

Python 的 A/B 測試

Preparing Video For Download...