A/B Testi en iyi uygulamalar ve ileri konulara giriş

Python ile A/B Testi

Moe Lotfy, PhD

Principal Data Science Manager

En iyi uygulamalar

Erken bakmaktan kaçının

  • Hedef örnekleme büyüklüğüne ulaşmadan sonuçlara bakarak karar vermekten kaçının; bu, çoklu karşılaştırmalara benzer şekilde hata oranlarını artırır.

Haftanın gününe göre etkileri hesaba katın

  • Kullanıcılar hafta içi ve hafta sonu farklı davranabilir; bu nedenle genel davranışı dahil etmeliyiz.
Python ile A/B Testi

En iyi uygulamalar

  • Basitlik/uygulanabilirlik:
    • Tam özelliği inşa etmemiz gerekiyor mu?
    • Painted door testleri
  • Yalıtım
    • Etkiyi atfetmek için aynı anda tek değişkeni değiştirin.
Python ile A/B Testi

İleri konular

  • Çok faktörlü tasarım ve etkileşim etkileri
    • Her değişkenin izole etkisini ölçer
    • Etkileşim/sinerji etkilerini ortaya çıkarır
  • Bayesçi A/B testi
    • Önceki verileri mevcut deneye katar
    • Anakütle parametrelerini dağılımlar olarak görür
    • Test sonuçlarını daha sezgisel yorumlama sağlar
  • SUTVA ihlali ve ağ etkileri
    • Bir kullanıcının testteki ataması başkalarını etkiler
    • Sosyal ağ A/B testlerinde yaygındır
    • Bir çözüm: küme bazlı atama
Python ile A/B Testi

Hadi pratik yapalım!

Python ile A/B Testi

Preparing Video For Download...