Metrik tasarımı ve tahmini

Python ile A/B Testi

Moe Lotfy, PhD

Principal Data Science Manager

Metrik türleri

Birincil (hedef/kuzey yıldızı):
- İşin ya da misyonun başarısını en iyi açıklar
Ayrıntılı metrikler:
- Kullanıcı davranışını en iyi açıklar
- Daha hassas ve eyleme geçirilebilir
- Kayıt oranı:
  - = (tıklamalar/ziyaretçiler) X (kayıtlar/tıklamalar)
Enstrümantasyon/korkuluk metrikleri:
- Bu dersin kapsamı dışındadır

Kuzey yıldızı metrik görseli

Çubuk grafik ve çizgi grafik metrik görseli

Metrik türleri

Nicel sınıflandırma

Ortalama/yüzdelikler: ort. satış, sayfada medyan süre
Oranlar:
- Kayıt oranı: kayıtlar/toplam ziyaretçi
- Sayfayı terk oranı: terk edenler/toplam ziyaretçi
Rasyolar:
- Tıklama oranı (CTR): tıklamalar/sayfa ziyaretleri veya tıklamalar/reklam gösterimleri
- Oturum başına gelir
Metrikler birleştirilerek daha kapsamlı başarı/başarısızlık ölçütü oluşturulabilir

Metrik gereksinimleri

Önemsiz farklara karşı stabil/sağlam
Önemli değişikliklere hassas
Günlükleme kısıtları içinde ölçülebilir
Oynanamaz
- Parlak renkler
- Sayfada geçirilen süre

Abartılı parlak harekete geçirici mesaj

Python ile metrik tahmini

checkout.groupby('gender')['purchased'].mean()

gender
F    0.908056
M    0.780009
Name: purchased, dtype: float64

checkout[(checkout['browser']=='chrome')|(checkout['browser']=='safari')]\
    .groupby('gender')['order_value'].mean()

gender
F    29.814161
M    30.383431
Name: order_value, dtype: float64

Python ile metrik tahmini

checkout.groupby('browser')[['order_value', 'purchased']].mean()

         order_value  purchased
browser                        
chrome     30.016625   0.839088
firefox    29.887491   0.851725
safari     30.119808   0.844337

Hadi pratik yapalım!

Python ile A/B Testi