Proč provádět experimenty?

A/B testování v Pythonu

Moe Lotfy, PhD

Principal Data Science Manager

Hodnota A/B testování

Snížení nejistoty ohledně dopadu nových návrhů a funkcí
Rozhodování → vědecké, na základě důkazů – nikoliv intuice
Vysoká hodnota investice: jednoduché změny přinášejí velké výsledky
Kontinuální optimalizace ve vyspělé fázi podnikání
Korelace neznamená příčinnost

Hierarchie důkazů

Upravená verze hierarchie důkazů

¹ https://jamanetwork.com/journals/jama/article-abstract/392650

Snižují chybová hlášení odchod uživatelů?

Příklad spuriózní korelace v Microsoft Office 365:$^1$
- Spuriózní korelace: silná korelace, která se jeví jako příčinná, ale není.

¹ Kohavi, Ron,Tang, Diane,Xu, Ya. Trustworthy Online Controlled Experiments. Cambridge University Press.

Pearsonův korelační koeficient

Skóre měřící sílu lineárního vztahu mezi dvěma proměnnými.
r>0: pozitivní korelace
r = 0: žádná korelace
r<0: negativní korelace

Vzorec Pearsonova korelačního koeficientu (r):

Vzorec Pearsonova korelačního koeficientu (r)

Předpoklady: normální rozdělení a linearita

Vizuální kontrola korelací

# Import visualization library seaborn
import seaborn as sns

# Create pairplots
sns.pairplot(admissions[['Serial No.',\
      'GRE Score', 'Chance of Admit']])

Bodové grafy znázorňující vztah mezi třemi sloupci datové sady

Heatmapa Pearsonovy korelace

# Import visualization library seaborn
import seaborn as sns

# Print Pearson correlation coefficient
print(admissions['GRE Score']\
   .corr(admissions['Chance of Admit']))

0.8026104595903503

# Plot correlations heatmap
sns.heatmap(admissions.corr(),annot=True)

Heatmapa všech proměnných v datové sadě a jejich korelačních koeficientů

Pojďme si procvičit!

A/B testování v Pythonu