Test A/B

Comprendre la science des données

Lis Sulmont

Curriculum Manager, DataCamp

Flux de travail en science des données

Flux de travail Data Science

Que sont les expériences en science des données ?

Les expériences contribuent à orienter les décisions et à tirer des conclusions

Formulez une question
Formulez une hypothèse
Collectez des données
Testez l’hypothèse avec un test statistique
Interprétez les résultats

Étude de cas : quel est le meilleur titre pour un article de blog ?

Formulez une question : Le titre de blog A ou le titre B donne-t-il plus de clics ?

Formulez une hypothèse : Le titre du blog A et le titre B du blog génèrent le même nombre de clics.

Collectez des données :

50 % des utilisateurs verront le titre du blog A
50 % des utilisateurs verront le titre du blog B
Suivez le taux de clics jusqu’à ce que la taille de l’échantillon atteigne

Étude de cas : quel est le meilleur titre pour un article de blog ?

Testez l’hypothèse avec un test statistique : la différence des taux de clics des titres est-elle significative ?

Interprétez les résultats :

Sélectionnez un titre
Ou posez davantage de questions et concevez une autre expérience !

Qu'est-ce que le test A/B ?

Test Champion/Challenger AKA

Révision terminologique

Taille de l'échantillon : nombre de points de données utilisés
Signification statistique : le résultat n'est probablement pas dû au hasard
- Hypothèses du modèle statistique
- Utiliser des tests statistiques pour calculer ceci : {{3}}
  - Par exemple, test t, test Z, ANOVA, test du chi carré

Étapes du test A/B

Choix d’une métrique à suivre
Calcul de la taille de l’échantillon
Réalisation de l’expérience
Vérification de la signification

Sélectionnez un indicateur à suivre : taux de clics

Mesure de référence pour évaluer tout changement
- Fréquence à laquelle les personnes cliquent généralement sur un lien vers nos blogs
Si le taux est supérieur ou inférieur à 50 %, il faut un échantillon plus grand
- Taux de clics généralement faible (moins de 3 %)

Des échantillons plus importants nous permettent de détecter des changements plus infimes

Veuillez exécuter votre expérience

Vérifier la pertinence

Que faire si les résultats ne sont pas significatifs ?

La différence est inférieure au seuil que nous avons choisi
Il n’est pas utile de prolonger notre test
Il pourrait tout de même y avoir une différence ; elle est simplement minime et insignifiante pour nous

Passons à la pratique !

Comprendre la science des données

Preparing Video For Download...