प्रयोग क्यों चलाएँ?

Python में A/B Testing

Moe Lotfy, PhD

Principal Data Science Manager

A/B टेस्टिंग का मूल्य

नए डिज़ाइन और फीचर्स के प्रभाव को लेकर अनिश्चितता घटाएँ
निर्णय-लेना --> वैज्ञानिक, प्रमाण-आधारित; सहज अनुमान नहीं
कम लागत में बड़ा लाभ: छोटे बदलाव, बड़े नतीजे
बिज़नेस के परिपक्व चरण में निरंतर ऑप्टिमाइज़ेशन
सहसंबंध कारण नहीं दर्शाता

प्रमाण की पदानुक्रम

प्रमाण की पदानुक्रम का अनुकूलित संस्करण

¹ https://jamanetwork.com/journals/jama/article-abstract/392650

क्या एरर मैसेज churn घटाते हैं?

Microsoft Office 365 का भ्रामक सहसंबंध उदाहरण:$^1$
- Spurious correlation: ऐसा मजबूत सहसंबंध जो कारण जैसा लगे, पर हो नहीं।

¹ Kohavi, Ron,Tang, Diane,Xu, Ya. Trustworthy Online Controlled Experiments. Cambridge University Press.

Pearson का सहसंबंध गुणांक

दो वैरिएबल्स के बीच रैखिक संबंध की ताकत मापने वाला स्कोर।
r>0: सकारात्मक सहसंबंध
r = 0: तटस्थ सहसंबंध
r<0: नकारात्मक सहसंबंध

Pearson का सहसंबंध गुणांक (r) सूत्र:

Pearson के सहसंबंध गुणांक (r) का समीकरण

मान्यताएँ: Normal distribution और Linearity

सहसंबंध का विज़ुअल निरीक्षण

# Import visualization library seaborn
import seaborn as sns

# Create pairplots
sns.pairplot(admissions[['Serial No.',\
      'GRE Score', 'Chance of Admit']])

डेटासेट में तीन कॉलमों के बीच संबंध दिखाते स्कैटर प्लॉट्स

Pearson सहसंबंध हीटमैप

# Import visualization library seaborn
import seaborn as sns

# Print Pearson correlation coefficient
print(admissions['GRE Score']\
   .corr(admissions['Chance of Admit']))

0.8026104595903503

# Plot correlations heatmap
sns.heatmap(admissions.corr(),annot=True)

डेटासेट के सभी वैरिएबल्स और उनके सहसंबंध गुणांक का हीटमैप

अभ्यास करते हैं!

Python में A/B Testing