प्रयोग का डिज़ाइन: परीक्षण पैरामीटर सेट करना

Python में A/B Testing

Moe Lotfy, PhD

Principal Data Science Manager

वितरण पैरामीटर

  • d एक सामान्य वितरण का पालन करता है शून्य और वैकल्पिक परिकल्पनाओं का गणितीय निरूपण

  • यदि देखी गई भिन्नता 'd' असंभव लगे:

    • शून्य परिकल्पना अस्वीकार करें
  • शून्य बनाम वैकल्पिक परिकल्पना के वितरण

शून्य और वैकल्पिक परिकल्पनाओं के वितरण का ग्राफ़िक निरूपण

Python में A/B Testing

डिज़ाइन पैरामीटर और त्रुटि प्रकार

  • Power (1- $\beta$)
    • $\beta$ = Type II error = False negative
    • आमतौर पर 80% पर सेट
  • Minimum Detectable Effect (MDE)
    • सबसे छोटी भिन्नता जिसे पकड़ना मायने रखता है

त्रुटि प्रकार मैट्रिक्स

प्रयोगात्मक पैरामीटर का ग्राफ़िक निरूपण

Python में A/B Testing

डिज़ाइन पैरामीटर और त्रुटि प्रकार

  • महत्व स्तर $\alpha$
    • $\alpha$ = Type I error = False positive
    • आमतौर पर 5% पर सेट
  • P-value
    • शून्य परिकल्पना सही मानते हुए परिणाम मिलने की प्रायिकता।
    • यदि p-value < $\alpha$
      • शून्य परिकल्पना अस्वीकार करें
    • यदि p-value > $\alpha$
      • शून्य परिकल्पना अस्वीकार करने में असफल

त्रुटि प्रकार मैट्रिक्स

प्रयोगात्मक पैरामीटर का ग्राफ़िक निरूपण

Python में A/B Testing

प्रयोग पैरामीटर की समानता

सांख्यिकीय power और पैरामीटर समझाने के लिए समानता:

  1. स्टोर में समय = sample size/experiment duration
  2. चिप्स के पैकेट का आकार = effect size/MDE
  3. स्टोर की साफ-सफाई/व्यवस्था = data variance

सांख्यिकीय power की समानता

Python में A/B Testing

अभ्यास करते हैं!

Python में A/B Testing

Preparing Video For Download...