Pratiques exemplaires en A/B testing et sujets avancés – introduction

A/B Testing en Python

Moe Lotfy, PhD

Principal Data Science Manager

Pratiques exemplaires

Évitez de jeter un coup d'œil

  • Évitez de décider en consultant les résultats avant d'atteindre la taille d'échantillon prévue ; cela gonfle les taux d'erreur comme dans les comparaisons multiples.

Tenir compte des effets selon le jour de la semaine

  • Le comportement diffère souvent entre fin de semaine et jours de semaine ; intégrez le comportement global.
A/B Testing en Python

Pratiques exemplaires

  • Simplicité/faisabilité :
    • Faut-il bâtir la fonction complète ?
    • Tests « painted door »
  • Isolation
    • Modifier une seule variable à la fois pour attribuer l'impact.
A/B Testing en Python

Sujets avancés

  • Plans multifactoriels et effets d'interaction
    • Mesurent l'effet isolé de chaque variable
    • Révèlent des effets d'interaction/synergie
  • A/B testing bayésien
    • Intègre des données antérieures à l'expérience en cours
    • Considère les paramètres de population comme des distributions
    • Compréhension plus intuitive des résultats
  • Violation SUTVA et effets de réseau
    • L'affectation d'une personne au test influence d'autres personnes
    • Fréquent dans les tests A/B de réseaux sociaux
    • Une solution : affectation par grappes
A/B Testing en Python

Passons à la pratique !

A/B Testing en Python

Preparing Video For Download...