A/B Testi

Veri Bilimini Anlamak

Lis Sulmont

Curriculum Manager, DataCamp

Veri bilimi iş akışı

Veri bilimi iş akışı

Veri Bilimini Anlamak

Veri biliminde deney nedir?

Deneyler kararları yönlendirir ve çıkarımlar sağlar

  1. Soru oluşturun
  2. Hipotez kurun
  3. Veri toplayın
  4. Hipotezi istatistiksel bir testle sınayın
  5. Sonuçları yorumlayın
Veri Bilimini Anlamak

Vaka çalışması: En iyi blog başlığı hangisi?

Soru oluşturun: Blog başlığı A mı, B mi daha çok tık alır?

Hipotez kurun: Blog başlığı A ve B aynı sayıda tık alır.

Veri toplayın:

  • Kullanıcıların %50’si A başlığını görür
  • Kullanıcıların %50’si B başlığını görür
  • Örneklem büyüklüğüne ulaşana dek tıklama oranını izleyin

A/B test başlıkları

Veri Bilimini Anlamak

Vaka çalışması: En iyi blog başlığı hangisi?

Hipotezi istatistiksel testle sınayın: Başlıkların tıklama oranı farkı anlamlı mı?

Sonuçları yorumlayın:

  • Bir başlık seçin
  • Ya da daha çok soru sorun ve yeni bir deney tasarlayın!

A/B test başlıkları

Veri Bilimini Anlamak

A/B Testi nedir?

Diğer adıyla Şampiyon/Meydan Okuyan Testi

A/B testi

Veri Bilimini Anlamak

Terimlere kısa bakış

  • Örneklem büyüklüğü: kullanılan veri noktası sayısı
  • İstatistiksel anlamlılık: sonucun tesadüf olma olasılığı düşüktür
    • İstatistiksel model varsayımları altında
    • Bunu hesaplamak için istatistiksel testler kullanın:
      • ör. t-testi, Z-testi, ANOVA, Ki-kare testi
Veri Bilimini Anlamak

A/B Testi Adımları

  • İzlenecek metriği seçme
  • Örneklem büyüklüğünü hesaplama
  • Deneyi yürütme
  • Anlamlılığı kontrol etme
Veri Bilimini Anlamak

İzlence metriği seçin: tıklama oranı

bağlantıya tıklama

Veri Bilimini Anlamak

örneklem-büyüklüğü-yüzde

  • Değişiklikleri ölçmek için temel metrik
    • Genelde kullanıcılar blog bağlantılarımıza ne sıklıkla tıklar?
  • Oran %50’den çok farklıysa, büyük örneklem gerekir
    • Tıklama oranı genelde küçüktür (<%3)
Veri Bilimini Anlamak

örneklem-duyarlılığı

Daha büyük örneklem, daha küçük değişimleri saptamamıza olanak verir

Veri Bilimini Anlamak

Deneyi yürütün

deneyi-çalıştır

Veri Bilimini Anlamak

Anlamlılığı kontrol edin

anlamlılık

Veri Bilimini Anlamak

Sonuçlar anlamlı değilse ne olur?

  • Fark, seçtiğimiz eşikten küçük
  • Testi daha uzun sürdürmek yardımcı olmaz
  • Yine de bir fark olabilir; yalnızca bize göre küçük ve önemsizdir
Veri Bilimini Anlamak

Hadi pratik yapalım!

Veri Bilimini Anlamak

Preparing Video For Download...