Bonnes pratiques des tests A/B et introduction aux sujets avancés

A/B Testing en Python

Moe Lotfy, PhD

Principal Data Science Manager

Bonnes pratiques

Évitez de jeter un œil trop tôt

  • N'arrêtez pas ou ne décidez pas avant d'atteindre la taille d'échantillon prévue : cela gonfle les taux d'erreur, comme avec des comparaisons multiples.

Tenir compte des effets jour de la semaine

  • Le comportement diffère le week‑end et en semaine ; intégrez cette variabilité dans l'analyse globale.
A/B Testing en Python

Bonnes pratiques

  • Simplicité/faisabilité :
    • Faut‑il construire la fonctionnalité complète ?
    • Tests « painted door »
  • Isolation
    • Ne changer qu'une variable à la fois pour attribuer l'impact.
A/B Testing en Python

Sujets avancés

  • Plans multifactoriels et effets d'interaction
    • Mesurent l'effet isolé de chaque variable
    • Révèlent des effets d'interaction/synergie
  • A/B testing bayésien
    • Intègre des données antérieures dans l'expérience en cours
    • Considère les paramètres de population comme des distributions
    • Lecture des résultats plus intuitive
  • Violation de la SUTVA et effets de réseau
    • L'assignation d'un utilisateur influence d'autres utilisateurs
    • Fréquent dans les tests A/B de réseaux sociaux
    • Une solution : assignation par grappes
A/B Testing en Python

Passons à la pratique !

A/B Testing en Python

Preparing Video For Download...