Verificări de integritate: validitate externă

A/B Testing în Python

Moe Lotfy, PhD

Principal Data Science Manager

Paradoxul lui Simpson

Paradoxul lui Simpson: un fenomen statistic în care tendințele dintre variabile apar, dispar sau se inversează când populația este împărțită în segmente.

print(simp_imbalanced.groupby('Variant').mean())

Variant     Conversion
A              0.80
B              0.64

print(simp_imbalanced.groupby(['Variant','Device']).mean())

Variant Device   Conversion
A       Phone        0.875
        Tablet       0.500
B       Phone        0.900
        Tablet       0.575

Paradoxul lui Simpson

simp_imbalanced.groupby(['Variant','Device'])\
                            ['Device'].count()

Variant  Device
A        Phone     40
         Tablet    10
B        Phone     10
         Tablet    40

Exemplu de tabel pentru paradoxul lui Simpson

Paradoxul lui Simpson

simp_balanced.groupby(['Variant','Device'])\
                        ['Device'].count()

Variant  Device
A        Phone     40
         Tablet    10
B        Phone     40
         Tablet    10

print(simp_balanced.groupby('Variant').mean())

Variant     Conversion
A              0.70
B              0.52

print(simp_balanced.groupby(['Variant','Device']).mean())

Variant Device     Conversion
A       Phone        0.750
        Tablet       0.500
B       Phone        0.575
        Tablet       0.300

Efectul de noutate

Efectul de noutate
- O îmbunătățire de scurtă durată a metricilor, cauzată de curiozitatea utilizatorilor față de o funcție nouă.
Aversiunea față de schimbare
- Opusul efectului de noutate.
- Utilizatorii evită să încerce o funcție nouă din cauza familiarității cu cea veche.

Inspecție vizuală a efectului de noutate

# Plot Lift in CTR vs test days
novelty.plot('date', 'CTR_lift')
plt.ylim([0, 0.09])
plt.title('Lift in CTR vs Test Duration')
plt.show()

Demonstrație vizuală a efectului de noutate ca grafic liniar al CTR față de zilele experimentului

Corectarea efectelor de noutate

Creșterea duratei testului
- Includeți datele după stabilizarea efectului tratamentului.
Analizați cohortele de utilizatori noi și revenitori
- Utilizatorii noi sunt mai puțin susceptibili la efecte de noutate.
- Utilizatorii vechi se raportează la experiențele anterioare.

Să exersăm!

A/B Testing în Python