A/B-testen

Data Science begrijpen

Lis Sulmont

Curriculum Manager, DataCamp

Data science-workflow

Datawetenschap-workflow

Data Science begrijpen

Wat zijn experimenten in datawetenschap?

Experimenten helpen bij het nemen van beslissingen en het trekken van conclusies.

  1. Stel een vraag
  2. Stel een hypothese op
  3. Verzamel gegevens
  4. Test de hypothese met een statistische test
  5. Interpreteer de resultaten
Data Science begrijpen

Casestudy: welke titel is beter voor een blogpost?

Stel een vraag: Leidt blogtitel A of blogtitel B tot meer klikken?

Bedenk een hypothese: blogtitel A en blogtitel B krijgen evenveel klikken.

Verzamel gegevens:

  • 50% van de gebruikers ziet blogtitel A.
  • 50% van de gebruikers ziet blogtitel B
  • Houd de klikfrequentie bij totdat je genoeg gegevens hebt

a-b-test-headlines.jpg

Data Science begrijpen

Casestudy: welke titel is beter voor een blogpost?

Test de hypothese met een statistische test: Is het verschil in klikfrequenties tussen de titels echt groot?

Interpreteer de resultaten:

  • Kies een titel
  • Of stel nog meer vragen en bedenk een nieuw experiment!

a-b-test-headlines.jpg

Data Science begrijpen

Wat is A/B-testen?

AKA-kampioen/uitdager-testen

a-b-test.png

Data Science begrijpen

Terminologiebeoordeling

  • Steekproefgrootte: het aantal gegevenspunten dat is gebruikt
  • Statistische significantie: het resultaat is waarschijnlijk niet toevallig
    • Aannames van het statistische model
    • Gebruik statistische tests om dit te berekenen:
      • bijv. t-toets, Z-toets, ANOVA, chi-square-toets
Data Science begrijpen

Stappen voor A/B-testen

  • Een meetwaarde kiezen om bij te houden
  • De steekproefgrootte berekenen
  • Het experiment uitvoeren
  • Controleren op significantie
Data Science begrijpen

Kies een meetwaarde om bij te houden: klikfrequentie

klik-op-link.jpg

Data Science begrijpen

sample-size-percent.jpg

  • Een standaardmeetwaarde om veranderingen te meten
    • Hoe vaak mensen meestal op een link naar onze blogs klikken
  • Als het percentage veel hoger of lager is dan 50%, hebben we een grote steekproef nodig.
    • Het klikpercentage is meestal laag (<3%)
Data Science begrijpen

sample-size-sensitivity.jpg

Met grotere steekproeven kunnen we kleinere veranderingen zien

Data Science begrijpen

Experiment uitvoeren

run-experiment.jpg

Data Science begrijpen

Controleer op significantie

significance.jpg

Data Science begrijpen

Wat als de resultaten niet betekenisvol zijn?

  • Het verschil is kleiner dan de drempel die we hebben gekozen
  • Onze test langer laten lopen helpt niet
  • Er kan alsnog een verschil zijn; het is gewoon klein en niet echt betekenisvol voor ons
Data Science begrijpen

Laten we oefenen!

Data Science begrijpen

Preparing Video For Download...