Plan d'expérience : définir les paramètres de test

A/B Testing en Python

Moe Lotfy, PhD

Principal Data Science Manager

Paramètres de distribution

  • d suit une loi normale Formulation mathématique des hypothèses nulle et alternative

  • Si la différence observée « d » est peu probable :

    • rejeter l'hypothèse nulle
  • Distributions : hypothèse nulle vs alternative

Représentation graphique des distributions des hypothèses nulle et alternative

A/B Testing en Python

Paramètres de conception et types d'erreurs

  • Puissance (1- $\beta$)
    • $\beta$ = erreur de type II = Faux négatif
    • Souvent fixée à 80 %
  • Effet minimal détectable (MDE)
    • Plus petite différence à détecter

Matrice des types d'erreurs

Représentation graphique des paramètres expérimentaux

A/B Testing en Python

Paramètres de conception et types d'erreurs

  • Seuil de signification $\alpha$
    • $\alpha$ = erreur de type I = Faux positif
    • Souvent fixé à 5 %
  • Valeur p
    • Probabilité d'obtenir un résultat en supposant l'hypothèse nulle vraie.
    • Si valeur p < $\alpha$
      • Rejeter l'hypothèse nulle
    • Si valeur p > $\alpha$
      • Ne pas rejeter l'hypothèse nulle

Matrice des types d'erreurs

Représentation graphique des paramètres expérimentaux

A/B Testing en Python

Analogie des paramètres d'expérience

Analogie pour expliquer la puissance statistique et les paramètres :

  1. Temps passé en magasin = taille d'échantillon/durée de l'expérience
  2. Taille du paquet de chips = taille d'effet/MDE
  3. Propreté/organisation du magasin = variance des données

Analogie de la puissance statistique

A/B Testing en Python

Passons à la pratique !

A/B Testing en Python

Preparing Video For Download...