Projektowanie i szacowanie metryk

Testy A/B w Pythonie

Moe Lotfy, PhD

Principal Data Science Manager

Rodzaje metryk

Podstawowe (cel/gwiazda północna):
- Najlepiej opisują sukces biznesu lub misji
Metryki szczegółowe:
- Najlepiej wyjaśniają zachowanie użytkowników
- Bardziej czułe i wykonalne
- Współczynnik rejestracji:
  - = (kliknięcia/odwiedzający) X (rejestracje/kliknięcia)
Metryki instrumentacyjne/ochronne:
- Poza zakresem tego kursu

Ilustracja metryki gwiazdy północnej

Ilustracja metryk – wykres słupkowy i liniowy

Rodzaje metryk

Kategoryzacja ilościowa

Średnie/percentyle: średnia sprzedaż, mediana czasu na stronie
Proporcje:
- Współczynnik rejestracji: rejestracje/wszyscy odwiedzający
- Współczynnik porzucenia strony: porzucający/wszyscy odwiedzający
Wskaźniki:
- Współczynnik klikalności (CTR): kliknięcia/wizyty lub kliknięcia/wyświetlenia reklamy
- Przychód na sesję
Metryki można łączyć, tworząc bardziej kompleksowe kryteria sukcesu/porażki

Wymagania dotyczące metryk

Stabilna/odporna na nieistotne różnice
Czuła na istotne zmiany
Mierzalna w ramach ograniczeń logowania
Odporna na manipulacje
- Jaskrawe kolory
- Czas na stronie

Przejaskrawione wezwanie do działania

Szacowanie metryk w Pythonie

checkout.groupby('gender')['purchased'].mean()

gender
F    0.908056
M    0.780009
Name: purchased, dtype: float64

checkout[(checkout['browser']=='chrome')|(checkout['browser']=='safari')]\
    .groupby('gender')['order_value'].mean()

gender
F    29.814161
M    30.383431
Name: order_value, dtype: float64

Szacowanie metryk w Pythonie

checkout.groupby('browser')[['order_value', 'purchased']].mean()

         order_value  purchased
browser                        
chrome     30.016625   0.839088
firefox    29.887491   0.851725
safari     30.119808   0.844337

Czas na ćwiczenia!

Testy A/B w Pythonie