Teste statistice non-parametrice

A/B Testing în Python

Moe Lotfy, PhD

Principal Data Science Manager

Ipotezele testelor parametrice

  1. Eșantionare aleatorie
    • Datele sunt eșantionate aleatoriu din populație.
    • Investigați procesul de colectare/eșantionare a datelor.
  2. Independență
    • Fiecare observație/punct de date este independent.
    • Ignorarea dependențelor inflațează ratele de eroare.
  3. Normalitate
    • Date distribuite normal.
    • Dimensiune de eșantion suficient de mare.
      • Test t cu două eșantioane: n >= 30 în fiecare grup.
      • Test al proporțiilor cu două eșantioane: >=10 succese și >=10 eșecuri în fiecare grup.
A/B Testing în Python

Testul Mann-Whitney U

  • Test non-parametric pentru semnificație statistică
  • Determină dacă două eșantioane independente provin din aceeași distribuție
  • Test al sumei rangurilor
  • Date nepereche
A/B Testing în Python

Testul Mann-Whitney U în Python

# Calculate the mean and count of time on page by variant
print(checkout.groupby('checkout_page')['time_on_page'].agg({'mean', 'count'}))

                    mean  count
checkout_page                  
A              44.668527   3000
B              42.723772   3000
C              42.223772   3000

# Set random seed for repeatability 
np.random.seed(40)
# Take a random sample of size 25 from each variant
ToP_samp_A = checkout[checkout['checkout_page'] == 'A'].sample(25)['time_on_page']
ToP_samp_B = checkout[checkout['checkout_page'] == 'B'].sample(25)['time_on_page']
A/B Testing în Python

Testul Mann-Whitney U în Python

# Run a Mann-Whitney U test
mwu_test = pingouin.mwu(x=ToP_samp_A,
                        y=ToP_samp_B,
                        alternative='two-sided')
# Print the test results
print(mwu_test)

     U-val alternative     p-val     RBC    CLES
MWU  441.0   two-sided  0.013007 -0.4112  0.7056
A/B Testing în Python

Testul chi-pătrat de independență

  • Fără ipotezele testelor parametrice
  • Testează dacă două sau mai multe variabile categoriale sunt independente
    • Ipoteza nulă: Variabilele sunt independente.
    • Ipoteza alternativă: Variabilele nu sunt independente.
A/B Testing în Python

Testul chi-pătrat în Python

Test A/B pentru ratele de înregistrare pe pagina de start

Nulă: Nu există o diferență semnificativă în ratele de înregistrare între paginile C și D

Alternativă: Există o diferență semnificativă în ratele de înregistrare între acestea

# Calculate the number of users in groups C and D
n_C = homepage[homepage['landing_page'] == 'C']['user_id'].nunique()
n_D = homepage[homepage['landing_page'] == 'D']['user_id'].nunique()

# Compute unique signups in each group
signup_C = homepage[homepage['landing_page'] == 'C'].groupby('user_id')['signup'].max().sum()
no_signup_C = n_C - signup_C
signup_D = homepage[homepage['landing_page'] == 'D'].groupby('user_id')['signup'].max().sum()
no_signup_D = n_D - signup_D
A/B Testing în Python

Testul chi-pătrat în Python

# Create the signups table
table = [[signup_C, no_signup_C], [signup_D, no_signup_D]]
print('Group C signup rate:',round(signup_C/n_C,3))
print('Group D signup rate:',round(signup_D/n_D,3))

# Calculate p-value
print('p-value=',stats.chi2_contingency(table,correction=False)[1])

Group C signup rate: 0.064
Group D signup rate: 0.048
p-value= 0.009165
A/B Testing în Python

Să exersăm!

A/B Testing în Python

Preparing Video For Download...