Conception expérimentale : définir les paramètres d'essai

A/B Testing en Python

Moe Lotfy, PhD

Principal Data Science Manager

Paramètres de distribution

  • d suit une loi normale Formulation mathématique des hypothèses nulle et alternative

  • Si l'écart observé « d » est improbable :

    • rejeter l'hypothèse nulle
  • Distributions : hypothèse nulle vs alternative

Représentation graphique des distributions des hypothèses nulle et alternative

A/B Testing en Python

Paramètres de conception et types d'erreurs

  • Puissance (1‑ $\beta$)
    • $\beta$ = erreur de type II = faux négatif
    • Souvent fixée à 80 %
  • Effet minimal détectable (MDE)
    • Plus petite différence qui nous importe

Matrice des types d'erreurs

Représentation graphique des paramètres expérimentaux

A/B Testing en Python

Paramètres de conception et types d'erreurs

  • Seuil de signification $\alpha$
    • $\alpha$ = erreur de type I = faux positif
    • Souvent fixé à 5 %
  • Valeur p
    • Probabilité d'obtenir un résultat en supposant l'hypothèse nulle vraie.
    • Si p‑value < $\alpha$
      • Rejeter l'hypothèse nulle
    • Si p‑value > $\alpha$
      • Ne pas rejeter l'hypothèse nulle

Matrice des types d'erreurs

Représentation graphique des paramètres expérimentaux

A/B Testing en Python

Analogie des paramètres d'essai

Analogie pour expliquer la puissance statistique et les paramètres :

  1. Temps passé en magasin = taille de l'échantillon/durée de l'essai

  2. Format du sac de croustilles = taille d'effet/MDE

  3. Propreté/organisation du magasin = variance des données
A/B Testing en Python

Passons à la pratique !

A/B Testing en Python

Preparing Video For Download...