Test A/B

Comprendere la Data Science

Lis Sulmont

Curriculum Manager, DataCamp

Flusso di lavoro della data science

Data science workflow

Comprendere la Data Science

Cosa sono gli esperimenti in Data Science?

Gli esperimenti aiutano a guidare le decisioni e a trarre conclusioni

  1. Formula una domanda
  2. Formula un’ipotesi
  3. Raccogli i dati
  4. Verifica l'ipotesi con un test statistico
  5. Interpreta i risultati
Comprendere la Data Science

Caso studio: quale titolo è migliore per il post del blog?

Formula una domanda: Quale titolo del blog genera più clic, il titolo A o il titolo B ?

Formula un’ipotesi: Il titolo del blog A e il titolo del blog B generano lo stesso numero di clic.

Raccogli i dati:

  • Il 50% degli utenti vedrà il titolo del blog A
  • Il 50% degli utenti vedrà il titolo del blog B
  • Monitora il tasso di clic finché non viene raggiunta la dimensione del campione

a-b-test-headlines.jpg

Comprendere la Data Science

Caso studio: quale titolo è migliore per il post del blog?

Verifica l’ipotesi con un test statistico: La differenza tra i tassi di clic dei titoli è significativa?

Interpreta i risultati

  • Scegli un titolo
  • Oppure formula nuove domande e progetta un altro esperimento!

a-b-test-headlines.jpg

Comprendere la Data Science

Cos'è l'A/B Testing?

AKA Champion/Challenger Testing

a-b-test.png

Comprendere la Data Science

Revisione della terminologia

  • Dimensione del campione: numero di dati utilizzati
  • Significatività statistica: è probabile che il risultato non sia dovuto al caso
    • Date le ipotesi del modello statistico
    • Usa test statistici per calcolare questo:
      • ad es., t-test, Z-test, ANOVA, test chi-quadrato
Comprendere la Data Science

Passaggi del Test A/B

  • Scegliere una metrica da monitorare
  • Calcolare la dimensione del campione
  • Eseguire l'esperimento
  • Verificare la significatività
Comprendere la Data Science

Scegli una metrica da monitorare: tasso di click

click-on-link.jpg

Comprendere la Data Science

sample-size-percent.jpg

  • Metrica di riferimento per valutare eventuali cambiamenti
    • Con quale frequenza gli utenti cliccano generalmente su un link ai nostri blog
  • Se il tasso è molto superiore o inferiore al 50%, serve un campione di grandi dimensioni
    • Il tasso di clic è generalmente basso (<3%)
Comprendere la Data Science

sample-size-sensitivity.jpg

Campioni più grandi ci consentono di rilevare variazioni più piccole

Comprendere la Data Science

Esegui l'esperimento

run-experiment.jpg

Comprendere la Data Science

Verificare la significatività

significance.jpg

Comprendere la Data Science

E se i risultati non fossero significativi?

  • La differenza è inferiore alla soglia scelta
  • Prolungare il test non servirà
  • Potrebbe comunque esserci una differenza; è semplicemente troppo piccola per essere significativa per noi
Comprendere la Data Science

Esercitiamoci!

Comprendere la Data Science

Preparing Video For Download...