Deney tasarımı: test parametrelerini ayarlama

Python ile A/B Testi

Moe Lotfy, PhD

Principal Data Science Manager

Dağılım parametreleri

  • d normal dağılıma uyar Null ve alternatif hipotezlerin matematiksel ifadesi

  • Gözlenen fark 'd' olası değilse:

    • Null hipotezi reddedin
  • Null vs alternatif hipotez dağılımları

Null ve alternatif hipotez dağılımlarının grafiksel gösterimi

Python ile A/B Testi

Tasarım parametreleri ve hata türleri

  • Güç (1- $\beta$)
    • $\beta$ = Tip II hata = Yanlış negatif
    • Genellikle %80 olarak ayarlanır
  • Minimum Yakalanabilir Etki (MDE)
    • Önemsedğimiz en küçük fark

Hata türleri matrisi

Deneysel parametrelerin grafiksel gösterimi

Python ile A/B Testi

Tasarım parametreleri ve hata türleri

  • Anlamlılık düzeyi $\alpha$
    • $\alpha$ = Tip I hata = Yanlış pozitif
    • Genellikle %5 olarak ayarlanır
  • P-değeri
    • Null hipotezinin doğru olduğu varsayımıyla bir sonucun olasılığı.
    • p-değeri < $\alpha$ ise
      • Null hipotezini reddedin
    • p-değeri > $\alpha$ ise
      • Null hipotezini reddetmeyin

Hata türleri matrisi

Deneysel parametrelerin grafiksel gösterimi

Python ile A/B Testi

Deney parametreleri benzetmesi

İstatistiksel güç ve parametreleri açıklayan benzetme:

  1. Mağazada geçirilen süre = örneklem büyüklüğü/deney süresi
  2. Cips paketi boyutu = etki büyüklüğü/MDE
  3. Mağaza temizliği/düzeni = veri varyansı

İstatistiksel güç benzetmesi

Python ile A/B Testi

Hadi pratik yapalım!

Python ile A/B Testi

Preparing Video For Download...