A/B टेस्टिंग

डेटा साइंस को समझना

Lis Sulmont

Curriculum Manager, DataCamp

डेटा साइंस वर्कफ़्लो

डेटा साइंस वर्कफ़्लो

डेटा साइंस को समझना

डेटा साइंस में एक्सपेरिमेंट्स क्या हैं?

एक्सपेरिमेंट्स से निर्णय और निष्कर्ष निकलते हैं

  1. सवाल तय करें
  2. हाइपोथेसिस बनाएं
  3. डेटा इकट्ठा करें
  4. स्टैटिस्टिकल टेस्ट से हाइपोथेसिस जाँचें
  5. परिणाम समझें
डेटा साइंस को समझना

केस स्टडी: बेहतर ब्लॉग टाइटल कौन सा है?

सवाल तय करें: ब्लॉग टाइटल A या B में ज्यादा क्लिक किस पर आते हैं?

हाइपोथेसिस बनाएं: ब्लॉग टाइटल A और B पर क्लिक बराबर हैं.

डेटा इकट्ठा करें:

  • 50% यूज़र्स को टाइटल A दिखाएँ
  • 50% यूज़र्स को टाइटल B दिखाएँ
  • सैंपल साइज तक क्लिक-थ्रू रेट ट्रैक करें

a-b-test-headlines.jpg

डेटा साइंस को समझना

केस स्टडी: बेहतर ब्लॉग टाइटल कौन सा है?

स्टैटिस्टिकल टेस्ट से हाइपोथेसिस जाँचें: क्या टाइटल्स के क्लिक-थ्रू रेट का फर्क सिग्निफिकेंट है?

परिणाम समझें:

  • कोई एक टाइटल चुनें
  • या और सवाल पूछें और नया एक्सपेरिमेंट डिज़ाइन करें!

a-b-test-headlines.jpg

डेटा साइंस को समझना

A/B टेस्टिंग क्या है?

इसे Champion/Challenger Testing भी कहते हैं

a-b-test.png

डेटा साइंस को समझना

टर्मिनोलॉजी रिव्यू

  • सैंपल साइज: इस्तेमाल हुए डेटा पॉइंट्स की संख्या
  • स्टैटिस्टिकल सिग्निफिकेंस: नतीजा सम्भवतः संयोग से नहीं है
    • स्टैटिस्टिकल मॉडल की धारणाओं पर आधारित
    • इसे निकालने के लिए स्टैटिस्टिकल टेस्ट इस्तेमाल करें:
      • जैसे, t-test, Z-test, ANOVA, Chi-square test
डेटा साइंस को समझना

A/B टेस्टिंग के स्टेप्स

  • ट्रैक करने के लिए कोई मेट्रिक चुनें
  • सैंपल साइज निकालें
  • एक्सपेरिमेंट चलाएँ
  • सिग्निफिकेंस जाँचें
डेटा साइंस को समझना

ट्रैक करने का मेट्रिक चुनें: क्लिक-थ्रू रेट

लिंक पर क्लिक

डेटा साइंस को समझना

sample-size-percent.jpg

  • बदलाव नापने के लिए बेसलाइन मेट्रिक
    • लोग आम तौर पर हमारे ब्लॉग लिंक पर कितनी बार क्लिक करते हैं
  • अगर रेट 50% से बहुत अलग है, तो बड़ा सैंपल साइज चाहिए
    • क्लिक रेट आम तौर पर छोटा होता है (<3%)
डेटा साइंस को समझना

sample-size-sensitivity.jpg

बड़े सैंपल साइज से छोटे बदलाव भी पकड़ में आते हैं

डेटा साइंस को समझना

अपना एक्सपेरिमेंट चलाएँ

run-experiment.jpg

डेटा साइंस को समझना

सिग्निफिकेंस जाँचें

significance.jpg

डेटा साइंस को समझना

अगर नतीजे सिग्निफिकेंट न हों तो?

  • फर्क हमारे चुने थ्रेशहोल्ड से छोटा है
  • टेस्ट और लंबा चलाने से मदद नहीं मिलेगी
  • फर्क हो सकता है, पर वह हमारे लिए छोटा और असंगत है
डेटा साइंस को समझना

अभ्यास करते हैं!

डेटा साइंस को समझना

Preparing Video For Download...