實驗設計：設定測試參數

Python 的 A/B 測試

Moe Lotfy, PhD

Principal Data Science Manager

分配參數

  • d 服從常態分配 虛無與對立假設的數學表述

  • 若觀察到的差異 d 不太可能：

    • 拒絕虛無假設
  • 虛無 vs 對立假設的分配

虛無與對立假設分配的圖像表示

Python 的 A/B 測試

設計參數與錯誤類型

  • 檢定力（1- $\beta$）
    • $\beta$ = 第 II 類錯誤 = 偽陰性
    • 常設為 80%
  • 最小可偵測效果（MDE）
    • 我們在意的最小差異

錯誤類型矩陣

實驗參數的圖像表示

Python 的 A/B 測試

設計參數與錯誤類型

  • 顯著水準 $\alpha$
    • $\alpha$ = 第 I 類錯誤 = 偽陽性
    • 常設為 5%
  • p 值
    • 在虛無假設為真時取得此結果的機率。
    • 若 p 值 < $\alpha$
      • 拒絕虛無假設
    • 若 p 值 > $\alpha$
      • 不拒絕虛無假設

錯誤類型矩陣

實驗參數的圖像表示

Python 的 A/B 測試

實驗參數的比喻

用比喻說明統計檢定力與參數：

  1. 待在商店的時間 = 樣本數／實驗期間
  2. 洋芋片袋大小 = 效果量／MDE
  3. 商店整潔度／動線 = 資料變異

統計檢定力的比喻

Python 的 A/B 測試

一起來練習吧！

Python 的 A/B 測試

Preparing Video For Download...