Best practice e temi avanzati per l'A/B Testing

A/B Testing in Python

Moe Lotfy, PhD

Principal Data Science Manager

Best practice

Evita di sbirciare

  • Non decidere sbirciando i risultati prima di raggiungere la dimensione campionaria prevista: aumenta gli errori come nei confronti multipli.

Considera gli effetti del giorno della settimana

  • Gli utenti si comportano in modo diverso tra weekend e giorni feriali, quindi includi il comportamento complessivo.
A/B Testing in Python

Best practice

  • Semplicità/fattibilità:
    • Serve davvero sviluppare tutta la funzionalità?
    • Painted door test
  • Isolamento
    • Cambia una variabile alla volta per attribuire l'impatto.
A/B Testing in Python

Temi avanzati

  • Design multifattoriale ed effetti di interazione
    • Misura l'effetto isolato di ogni variabile
    • Fa emergere effetti di interazione/sinergia
  • A/B testing bayesiano
    • Integra dati pregressi nell'esperimento attuale
    • Considera i parametri di popolazione come distribuzioni
    • Interpretazione dei risultati più intuitiva
  • Violazione SUTVA ed effetti di rete
    • L'assegnazione di un utente influisce sugli altri
    • Comune nei test A/B dei social network
    • Una soluzione: assegnazione per cluster
A/B Testing in Python

Esercitiamoci!

A/B Testing in Python

Preparing Video For Download...