Progettazione sperimentale: definire i parametri di test

A/B Testing in Python

Moe Lotfy, PhD

Principal Data Science Manager

Parametri della distribuzione

  • d segue una distribuzione normale Formulazione matematica delle ipotesi nulla e alternativa

  • Se la differenza osservata "d" è improbabile:

    • rifiuta l'ipotesi nulla
  • Distribuzioni: ipotesi nulla vs alternativa

Rappresentazione grafica delle distribuzioni delle ipotesi nulla e alternativa

A/B Testing in Python

Parametri di progettazione e tipi di errore

  • Potenza (1- $\beta$)
    • $\beta$ = errore di tipo II = Falso negativo
    • Di solito fissata all'80%
  • Effetto minimo rilevabile (MDE)
    • La più piccola differenza che vogliamo cogliere

Matrice dei tipi di errore

Rappresentazione grafica dei parametri sperimentali

A/B Testing in Python

Parametri di progettazione e tipi di errore

  • Livello di significatività $\alpha$
    • $\alpha$ = errore di tipo I = Falso positivo
    • Di solito fissato al 5%
  • P-value
    • Probabilità di ottenere un risultato assumendo vera l'ipotesi nulla.
    • Se p-value < $\alpha$
      • Rifiuta l'ipotesi nulla
    • Se p-value > $\alpha$
      • Non rifiutare l'ipotesi nulla

Matrice dei tipi di errore

Rappresentazione grafica dei parametri sperimentali

A/B Testing in Python

Analogia dei parametri dell'esperimento

Analogia per spiegare potenza statistica e parametri:

  1. Tempo nel negozio = dimensione del campione/durata esperimento
  2. Dimensione del sacchetto di chips = dimensione dell'effetto/MDE
  3. Pulizia/organizzazione del negozio = varianza dei dati

Analogia sulla potenza statistica

A/B Testing in Python

Esercitiamoci!

A/B Testing in Python

Preparing Video For Download...