Tests A/B

Comprendre la science des données

Lis Sulmont

Curriculum Manager, DataCamp

Flux de travail en science des données

Data science workflow

Que sont les expériences en science des données ?

Les expériences facilitent la prise de décisions et permettent de tirer des conclusions

Formulez une question
Formulez une hypothèse
Collectez des données
Vérifiez l'hypothèse à l'aide d'un test statistique
Interprétez les résultats

Étude de cas : quel est le meilleur titre pour un article de blog ?

Formulez une question : Le titre de blog A ou le titre de blog B génère-t-il plus de clics ?

Formulez une hypothèse : Le titre de blog A et le titre de blog B génèrent le même nombre de clics.

Collectez des données :

50 % des utilisateurs verront le titre A
50 % des utilisateurs verront le titre B
Suivez le taux de clics jusqu'à atteindre la taille de l'échantillon

Étude de cas : quel est le meilleur titre pour un article de blog ?

Vérifiez l'hypothèse à l'aide d'un test statistique : La différence entre les titres et les taux de clics est-elle significative ?

Interprétez les résultats :

Veuillez sélectionner un titre
Ou posez davantage de questions et concevez une autre expérience.

Qu'est-ce que le test A/B ?

Test Champion/Challenger AKA

Révision terminologique

Taille de l'échantillon : nombre de points de données utilisés
Signification statistique : le résultat n'est probablement pas dû au hasard
- Hypothèses du modèle statistique
- Utilisez des tests statistiques pour calculer ceci :
  - Par exemple, test t, test Z, ANOVA, test du chi carré

Étapes du test A/B

Choix d’une métrique à suivre
Calcul de la taille de l’échantillon
Réalisation de l’expérience
Vérification de la signification

Sélectionnez un indicateur à suivre : taux de clics

Mesure de référence pour évaluer tout changement
- Fréquence à laquelle les personnes cliquent généralement sur un lien vers nos blogs
Si le taux est supérieur ou inférieur à 50 %, il faut un échantillon plus grand
- Taux de clics généralement faible (moins de 3 %)

Des échantillons plus importants nous permettent de détecter des changements plus infimes

Veuillez exécuter votre expérience

Vérifier la pertinence

Que faire si les résultats ne sont pas significatifs ?

La différence est inférieure au seuil que nous avons choisi
Il n’est pas utile de prolonger notre test
Il pourrait tout de même y avoir une différence ; elle est simplement minime et insignifiante pour nous

Passons à la pratique !

Comprendre la science des données

Preparing Video For Download...