De ce să rulăm experimente?

A/B Testing în Python

Moe Lotfy, PhD

Principal Data Science Manager

Valoarea testelor A/B

  • Reduce incertitudinea privind impactul noilor design-uri și funcționalități

  • Luarea deciziilor --> științifică, bazată pe dovezi - nu pe intuiție

  • Valoare ridicată față de investiție: modificări simple duc la rezultate majore

  • Optimizare continuă la maturitatea afacerii

  • Corelația nu implică cauzalitate

A/B Testing în Python

Ierarhia dovezilor

Versiune adaptată a ierarhiei dovezilor

1 https://jamanetwork.com/journals/jama/article-abstract/392650
A/B Testing în Python

Mesajele de eroare reduc abandonul?

  • Exemplu de corelație falsă în Microsoft Office 365:$^1$

    Exemplu de corelație falsă în Microsoft Office 365

    • Corelație falsă: o corelație puternică ce pare cauzală, dar nu este.
1 Kohavi, Ron,Tang, Diane,Xu, Ya. Trustworthy Online Controlled Experiments. Cambridge University Press.
A/B Testing în Python

Coeficientul de corelație Pearson

  • Un scor care măsoară intensitatea relației liniare dintre două variabile.
  • r>0: corelație pozitivă
  • r = 0: corelație neutră
  • r<0: corelație negativă
  • Formula coeficientului de corelație Pearson (r):

Ecuația coeficientului de corelație Pearson (r)

  • Presupune: distribuție normală și liniaritate
A/B Testing în Python

Inspecție vizuală a corelațiilor

# Import visualization library seaborn
import seaborn as sns

# Create pairplots
sns.pairplot(admissions[['Serial No.',\
      'GRE Score', 'Chance of Admit']])

Grafice de dispersie care arată relația dintre trei coloane din set de date

A/B Testing în Python

Hartă termică a corelației Pearson

# Import visualization library seaborn
import seaborn as sns

# Print Pearson correlation coefficient
print(admissions['GRE Score']\
   .corr(admissions['Chance of Admit']))

0.8026104595903503

# Plot correlations heatmap
sns.heatmap(admissions.corr(),annot=True)

Hartă termică a tuturor variabilelor din set de date și coeficienții lor de corelație

A/B Testing în Python

Să exersăm!

A/B Testing în Python

Preparing Video For Download...