Neden deney yaparız?

Python ile A/B Testi

Moe Lotfy, PhD

Principal Data Science Manager

A/B testinin değeri

Yeni tasarım ve özelliklerin etkisine dair belirsizliği azaltın
Karar alma --> sezgi değil; bilimsel, kanıta dayalı
Yatırıma yüksek getiri: basit değişiklikler büyük kazançlar sağlar
Olgun aşamada sürekli optimizasyon
Korelasyon nedensellik anlamına gelmez

Kanıt hiyerarşisi

Kanıt hiyerarşisinin uyarlanmış sürümü

¹ https://jamanetwork.com/journals/jama/article-abstract/392650

Hata iletileri churn’ü azaltır mı?

Microsoft Office 365 yanıltıcı korelasyon örneği:$^1$
- Yanıltıcı korelasyon: nedensel gibi görünen ancak olmayan güçlü korelasyon.

¹ Kohavi, Ron,Tang, Diane,Xu, Ya. Trustworthy Online Controlled Experiments. Cambridge University Press.

Pearson korelasyon katsayısı

İki değişken arasındaki doğrusal ilişkinin gücünü ölçen bir puan.
r>0: pozitif korelasyon
r = 0: nötr korelasyon
r<0: negatif korelasyon

Pearson korelasyon katsayısı (r) formülü:

Pearson korelasyon katsayısı (r) denklemi

Varsayımlar: Normal dağılım ve Doğrusallık

Korelasyonların görsel incelemesi

# Görselleştirme kütüphanesi seaborn'u içe aktar
import seaborn as sns

# Çift grafikler oluştur
sns.pairplot(admissions[['Serial No.',\
      'GRE Score', 'Chance of Admit']])

Veri setindeki üç sütun arasındaki ilişkiyi gösteren saçılım grafikleri

Pearson korelasyon ısı haritası

# Görselleştirme kütüphanesi seaborn'u içe aktar
import seaborn as sns

# Pearson korelasyon katsayısını yazdır
print(admissions['GRE Score']\
   .corr(admissions['Chance of Admit']))

0.8026104595903503

# Korelasyon ısı haritasını çiz
sns.heatmap(admissions.corr(),annot=True)

Veri setindeki tüm değişkenler ve korelasyon katsayılarının ısı haritası

Hadi pratik yapalım!

Python ile A/B Testi