Po co przeprowadzać eksperymenty?

Testy A/B w Pythonie

Moe Lotfy, PhD

Principal Data Science Manager

Wartość testów A/B

Zmniejszenie niepewności co do wpływu nowych projektów i funkcji
Podejmowanie decyzji → naukowe, oparte na danych – nie na intuicji
Wysoka wartość inwestycji: proste zmiany przynoszą duże efekty
Ciągła optymalizacja na dojrzałym etapie działalności
Korelacja nie oznacza przyczynowości

Hierarchia dowodów naukowych

Zaadaptowana hierarchia dowodów naukowych

¹ https://jamanetwork.com/journals/jama/article-abstract/392650

Czy komunikaty o błędach zmniejszają churn?

Przykład fałszywej korelacji w Microsoft Office 365:$^1$
- Fałszywa korelacja: silna korelacja pozornie przyczynowa, która nią nie jest.

¹ Kohavi, Ron,Tang, Diane,Xu, Ya. Trustworthy Online Controlled Experiments. Cambridge University Press.

Współczynnik korelacji Pearsona

Miara siły liniowej zależności między dwiema zmiennymi.
r>0: korelacja dodatnia
r = 0: brak korelacji
r<0: korelacja ujemna

Wzór na współczynnik korelacji Pearsona (r):

Wzór na współczynnik korelacji Pearsona (r)

Założenia: rozkład normalny i liniowość

Wizualna inspekcja korelacji

# Import visualization library seaborn
import seaborn as sns

# Create pairplots
sns.pairplot(admissions[['Serial No.',\
      'GRE Score', 'Chance of Admit']])

Wykresy punktowe przedstawiające zależności między trzema kolumnami zbioru danych

Mapa ciepła korelacji Pearsona

# Import visualization library seaborn
import seaborn as sns

# Print Pearson correlation coefficient
print(admissions['GRE Score']\
   .corr(admissions['Chance of Admit']))

0.8026104595903503

# Plot correlations heatmap
sns.heatmap(admissions.corr(),annot=True)

Mapa ciepła wszystkich zmiennych w zbiorze danych i ich współczynników korelacji

Czas na ćwiczenia!

Testy A/B w Pythonie