Projektowanie eksperymentu: ustawianie parametrów testów

Testy A/B w Pythonie

Moe Lotfy, PhD

Principal Data Science Manager

Parametry rozkładu

  • d ma rozkład normalny Matematyczne sformułowanie hipotezy zerowej i alternatywnej

  • Jeśli obserwowana różnica 'd' jest mało prawdopodobna:

    • odrzuć hipotezę zerową
  • Rozkłady hipotezy zerowej i alternatywnej

Graficzne przedstawienie rozkładów hipotezy zerowej i alternatywnej

Testy A/B w Pythonie

Parametry projektu i typy błędów

  • Moc (1- $\beta$)
    • $\beta$ = błąd II rodzaju = fałszywy wynik negatywny
    • Zazwyczaj ustalana na 80%
  • Minimalna wykrywalna różnica (MDE)
    • Najmniejsza różnica, którą chcemy wykryć

Macierz typów błędów

Graficzne przedstawienie parametrów eksperymentu

Testy A/B w Pythonie

Parametry projektu i typy błędów

  • Poziom istotności $\alpha$
    • $\alpha$ = błąd I rodzaju = fałszywy wynik pozytywny
    • Zazwyczaj ustalany na 5%
  • Wartość p
    • Prawdopodobieństwo uzyskania wyniku przy założeniu prawdziwości hipotezy zerowej.
    • Jeśli wartość p < $\alpha$
      • Odrzuć hipotezę zerową
    • Jeśli wartość p > $\alpha$
      • Nie odrzucaj hipotezy zerowej

Macierz typów błędów

Graficzne przedstawienie parametrów eksperymentu

Testy A/B w Pythonie

Analogia parametrów eksperymentu

Analogia do wyjaśnienia mocy statystycznej i parametrów:

  1. Czas w sklepie = wielkość próby/czas trwania eksperymentu
  2. Rozmiar paczki chipsów = wielkość efektu/MDE
  3. Czystość/porządek w sklepie = wariancja danych

Analogia mocy statystycznej

Testy A/B w Pythonie

Czas na ćwiczenia!

Testy A/B w Pythonie

Preparing Video For Download...